梯度下降是迭代法的一種

梯度下降是迭代法的一種,可以用于求解最小二乘問題(線性和非線性都可以)。在求解機器學(xué)習(xí)算法的模型參數(shù)，即無約束優(yōu)化問題時，梯度下降（Gradient Descent）是最常采用的方法之一，另一種常用的方法是最小二乘法。在求解損失函數(shù)的最小值時，可以通過梯度下降法來一步步的迭代求解，得到最小化的損失函數(shù)和模型參數(shù)值。反過來，如果我們需要求解損失函數(shù)的最大值，這時就需要用梯度上升法來迭代了。在機器學(xué)習(xí)中，基于基本的梯度下降法發(fā)展了兩種梯度下降方法，分別為隨機梯度下降法和批量梯度下降法。

迭代法也稱輾轉(zhuǎn)法

迭代法也稱輾轉(zhuǎn)法，是一種不斷用變量的舊值遞推新值的過程，跟迭代法相對應(yīng)的是直接法(或者稱為一次解法)，即一次性解決問題。迭代算法是用計算機解決問題的一種基本方法，它利用計算機運算速度快、適合做重復(fù)性操作的特點，讓計算機對一組指令(或一定步驟)進行重復(fù)執(zhí)行，在每次執(zhí)行這組指令(或這些步驟)時，都從變量的原值推出它的一個新值，迭代法又分為精確迭代和近似迭代。比較典型的迭代法如“二分法”和"牛頓迭代法”屬于近似迭代法。

標簽： 梯度下降 是迭代法 的一種嗎也稱輾轉(zhuǎn)法

　　 原標題：梯度下降是迭代法的一種？迭代法也稱輾轉(zhuǎn)法？