機(jī)器學(xué)習(xí)為什么會(huì)使用梯度下降法？另外，在神經(jīng)網(wǎng)絡(luò)（非凸問(wèn)題）的訓(xùn)練中，大多采用梯度下降法。梯度下降法和擬牛頓法可以用來(lái)訓(xùn)練logistic回歸（凸問(wèn)題）模型。在機(jī)器學(xué)習(xí)任務(wù)中，必須最小化損失函數(shù)L（θ

機(jī)器學(xué)習(xí)為什么會(huì)使用梯度下降法？

另外，在神經(jīng)網(wǎng)絡(luò)（非凸問(wèn)題）的訓(xùn)練中，大多采用梯度下降法。梯度下降法和擬牛頓法可以用來(lái)訓(xùn)練logistic回歸（凸問(wèn)題）模型。

在機(jī)器學(xué)習(xí)任務(wù)中，必須最小化損失函數(shù)L（θ）Lleft（thetaright）L（θ），其中θthetaθ是要求解的模型參數(shù)。梯度下降法和牛頓/擬牛頓法都是迭代法。梯度下降法是梯度法，而牛頓法/擬牛頓法是由二階Hessian矩陣的逆矩陣或偽逆矩陣求解的。

比較了梯度下降法和牛頓法。因?yàn)槲⒎e分的本質(zhì)是研究“量”與“量變”的關(guān)系。我們感興趣的大多數(shù)數(shù)量，比如位置和速度，比如GDP、人口和壽命，都是不斷變化的。為了研究它們之間的關(guān)系，我們經(jīng)常使用一些數(shù)學(xué)模型，其中包含了大量的微分方程，自然是微積分學(xué)的重要基礎(chǔ)。

沒有微積分，世界仍然是黑暗的。

具體來(lái)說(shuō)，微積分廣泛應(yīng)用于各行各業(yè)。

物理學(xué)不言而喻，牛頓發(fā)明微積分是為了用微分方程來(lái)描述物理世界的現(xiàn)象。微積分必須應(yīng)用于任何工程領(lǐng)域。通常，你需要計(jì)算體積，面積和壓力。

在經(jīng)濟(jì)學(xué)中，各種預(yù)測(cè)模型都是微分方程。還有著名的博弈論，它運(yùn)用了大量的高等數(shù)學(xué)，遠(yuǎn)遠(yuǎn)超過(guò)微積分。

在金融領(lǐng)域，現(xiàn)在很多人從事“數(shù)量交易”，他們不得不用微積分來(lái)計(jì)算期權(quán)定價(jià)和各種衍生金融產(chǎn)品。光靠微積分是不夠的。我們需要添加更先進(jìn)的工具，如“隨機(jī)過(guò)程”來(lái)處理可變的“風(fēng)險(xiǎn)”。

保險(xiǎn)。計(jì)算人們的預(yù)期壽命，各種事故發(fā)生的概率，從而計(jì)算出應(yīng)該設(shè)定多少保費(fèi)。太高了，買不起。太低了，賣不出去。微積分和概率論是標(biāo)準(zhǔn)的。

在過(guò)去兩年中，“機(jī)器學(xué)習(xí)”或“人工智能”（事實(shí)上，它們都是類似的東西），比如alphago，它在下棋方面非常強(qiáng)大，它包含了一個(gè)很深的神經(jīng)網(wǎng)絡(luò)（40層）。這個(gè)網(wǎng)絡(luò)是一個(gè)非常復(fù)雜的函數(shù)，其中有許多參數(shù)（數(shù)億），需要對(duì)這些參數(shù)進(jìn)行訓(xùn)練。訓(xùn)練的方法本質(zhì)上是梯度下降法，這也是微積分中的一種方法。

你有沒有注意到上面提到的行業(yè)實(shí)際上是非常有利可圖的。

有些人可能會(huì)認(rèn)為微積分和《天書》一樣，是關(guān)于現(xiàn)實(shí)世界中不存在的東西，而只存在于理論世界中的東西。在學(xué)習(xí)和考試之后，他們都把它還給了老師。但這是完全錯(cuò)誤的。世界上有許多抽象而乏味的行業(yè)，但它們可能是有利可圖的行業(yè)。有很多微積分，概率論和高等代數(shù)。在一些更復(fù)雜的行業(yè)，數(shù)學(xué)可能更先進(jìn)。學(xué)習(xí)微積分、概率論等高級(jí)知識(shí)，再加上應(yīng)用領(lǐng)域的知識(shí)（如經(jīng)濟(jì)學(xué)、程序設(shè)計(jì)等），絕對(duì)是踏入小康、甚至致富的非常可靠的手段

微積分我們很少用到，為什么還要學(xué)呢？

我認(rèn)為這種理解并不全面。首先，算法的核心是如何利用抽象的數(shù)學(xué)模型來(lái)解決這個(gè)實(shí)際問(wèn)題，而實(shí)現(xiàn)的手段是通過(guò)代碼編程，所以算法的核心是數(shù)學(xué)，基本上是精確的。但是說(shuō)數(shù)學(xué)是一種算法是一個(gè)大問(wèn)題。數(shù)學(xué)涉及面很廣。它是一個(gè)自洽系統(tǒng)。隨著人類認(rèn)識(shí)水平的提高，數(shù)學(xué)也在不斷發(fā)展，許多新的數(shù)學(xué)工具被開發(fā)出來(lái)幫助我們解決實(shí)際問(wèn)題。

因此，如果數(shù)學(xué)是它背后的真理理論，那么算法就是用部分真理來(lái)幫助我們解決一些具體問(wèn)題。這是我的理解。