深度學(xué)習(xí)中的梯度消失和梯度爆炸是什么？有哪些方法可以解決？梯度消失的根源-深層神經(jīng)網(wǎng)絡(luò)和反向傳播。目前，神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法都是基于bp算法的思想，即根據(jù)損失函數(shù)計(jì)算的誤差，采用梯度bp算法來(lái)指導(dǎo)深度網(wǎng)

深度學(xué)習(xí)中的梯度消失和梯度爆炸是什么？有哪些方法可以解決？

梯度消失的根源-深層神經(jīng)網(wǎng)絡(luò)和反向傳播。目前，神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法都是基于bp算法的思想，即根據(jù)損失函數(shù)計(jì)算的誤差，采用梯度bp算法來(lái)指導(dǎo)深度網(wǎng)絡(luò)權(quán)值的更新和優(yōu)化。

梯度消失和梯度爆炸。在兩種情況下，梯度消失經(jīng)常發(fā)生，一種是在深網(wǎng)絡(luò)中，另一種是使用不適當(dāng)?shù)膿p失函數(shù)，如sigmoid。梯度爆炸通常發(fā)生在深度網(wǎng)絡(luò)初始值和權(quán)重過(guò)大時(shí)。神經(jīng)網(wǎng)絡(luò)的反向傳播是將函數(shù)的偏導(dǎo)數(shù)逐層相乘。因此，當(dāng)神經(jīng)網(wǎng)絡(luò)的層很深時(shí)，最后一層的偏差會(huì)因?yàn)槌艘栽S多小于1的偏導(dǎo)數(shù)而變得越來(lái)越小，最后趨于0，導(dǎo)致淺層的權(quán)值不更新，即梯度消失。由于梯度爆炸的初始權(quán)值過(guò)大，前一層的變化比后一層快，導(dǎo)致權(quán)值增加和溢出，導(dǎo)致Nan值的產(chǎn)生。

使用sigmoid激活函數(shù)時(shí)，梯度消失問(wèn)題更常見(jiàn)，而梯度爆炸問(wèn)題只發(fā)生在非常窄的范圍內(nèi)。

解決梯度消失問(wèn)題的方法：添加BN層、使用不同的激活函數(shù)（relu）、使用剩余結(jié)構(gòu)、使用LSTM網(wǎng)絡(luò)結(jié)構(gòu)等

解決梯度爆炸問(wèn)題的方法：添加BN層、使用不同的激活函數(shù)、梯度剪切（限制梯度范圍），權(quán)重正則化，使用LSTM網(wǎng)絡(luò)，重新設(shè)計(jì)網(wǎng)絡(luò)模型（減少層，學(xué)習(xí)）率，批量大小）

歡迎討論

梯度下降算法是指什么神經(jīng)網(wǎng)絡(luò)？

梯度下降算法是一種在每一代中更新神經(jīng)網(wǎng)絡(luò)權(quán)值的方法。神經(jīng)網(wǎng)絡(luò)中的權(quán)值更新方法有很多種，不僅僅是這一種

LSTM（long-short-term memory）是一種長(zhǎng)時(shí)記憶網(wǎng)絡(luò)，是一種時(shí)間周期的神經(jīng)網(wǎng)絡(luò)。它適用于處理和預(yù)測(cè)時(shí)間序列中具有較長(zhǎng)間隔和延遲的重要事件。長(zhǎng)短時(shí)記憶（Long-short-term memory，LSTM）是一種特殊的RNN，主要用于解決長(zhǎng)序列訓(xùn)練過(guò)程中的梯度消失和梯度爆炸問(wèn)題?？傊?，LSTM比普通RNN在更長(zhǎng)的序列中具有更好的性能。LSTM在科學(xué)技術(shù)中得到了廣泛的應(yīng)用?；贚STM的系統(tǒng)可以學(xué)習(xí)翻譯語(yǔ)言、控制機(jī)器人、圖像分析、文檔摘要、語(yǔ)音識(shí)別、圖像識(shí)別、筆跡識(shí)別、控制聊天機(jī)器人、預(yù)測(cè)疾病、點(diǎn)擊率和庫(kù)存、合成音樂(lè)等任務(wù)。

是一種處理時(shí)序數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)？

首先，感謝您的邀請(qǐng)。如果導(dǎo)數(shù)直接設(shè)為0，則只能輸出局部最優(yōu)解。梯度下降法可能存在多個(gè)局部最優(yōu)解（導(dǎo)數(shù)為0的解），因此導(dǎo)數(shù)不能直接設(shè)為0。

另外，不是所有函數(shù)都能根據(jù)導(dǎo)數(shù)得到0點(diǎn)的值，實(shí)際情況可能是：1。可以求出每一點(diǎn)的導(dǎo)數(shù)值，但不能得到方程的直接解。2計(jì)算機(jī)更適合用循環(huán)迭代法求極值。