怎樣由最速下降法變成牛頓法？最速下降法的迭代點(diǎn)在逼近最小點(diǎn)的過(guò)程中采用鋸齒形路徑，容易產(chǎn)生鋸齒現(xiàn)象，導(dǎo)致每次迭代的距離越來(lái)越小，收斂速度不快。如果目標(biāo)函數(shù)具有連續(xù)的二階偏導(dǎo)數(shù)，牛頓法可以快速收斂到問(wèn)題

怎樣由最速下降法變成牛頓法？

最速下降法的迭代點(diǎn)在逼近最小點(diǎn)的過(guò)程中采用鋸齒形路徑，容易產(chǎn)生鋸齒現(xiàn)象，導(dǎo)致每次迭代的距離越來(lái)越小，收斂速度不快。如果目標(biāo)函數(shù)具有連續(xù)的二階偏導(dǎo)數(shù)，牛頓法可以快速收斂到問(wèn)題的最小點(diǎn)。

共軛梯度法對(duì)比牛頓法有什么優(yōu)缺點(diǎn)？

牛頓法需要函數(shù)的一階和二階導(dǎo)數(shù)信息，也就是說(shuō)它涉及Hesse矩陣，包括矩陣求逆運(yùn)算。雖然收斂速度快，但運(yùn)算量大。擬牛頓法用某種方法構(gòu)造一個(gè)類似于黑森矩陣的正定矩陣，這種構(gòu)造方法比牛頓法計(jì)算量?。还曹椞荻确ǖ幕舅枷胧菍⒐曹椥再|(zhì)與最速下降法結(jié)合起來(lái)，利用已知點(diǎn)的梯度構(gòu)造一組共軛方向，沿著這組方向搜索元素，找到目標(biāo)函數(shù)的最小點(diǎn)。根據(jù)共軛方向的基本性質(zhì)，該方法計(jì)算量小，收斂速度快。