神經(jīng)網(wǎng)絡反向傳播算法本質是在解決什么問題？是怎樣的？反向傳播算法是一個深入的神經(jīng)網(wǎng)絡學習過程，最終誤差值根據(jù)梯度和誤差傳播原理返回到數(shù)據(jù)輸入方向，用來修改每層神經(jīng)元的權值或卷積核參數(shù)，以達到減小正誤差

神經(jīng)網(wǎng)絡反向傳播算法本質是在解決什么問題？是怎樣的？

反向傳播算法是一個深入的神經(jīng)網(wǎng)絡學習過程，最終誤差值根據(jù)梯度和誤差傳播原理返回到數(shù)據(jù)輸入方向，用來修改每層神經(jīng)元的權值或卷積核參數(shù)，以達到減小正誤差的目的，當經(jīng)過一輪反向傳播后，正誤差很小，達到可接受的水平時，神經(jīng)網(wǎng)絡才穩(wěn)定訓練。

如果神經(jīng)網(wǎng)絡中，每個層內部的神經(jīng)元之間有連接，這時候的前向和反向傳播應該怎么計算？

這是秩序問題。如果兩個節(jié)點相互傳遞，傳遞的順序是什么？是固定順序、隨機順序還是同時順序？事實上，這種結構已經(jīng)存在于CNN的工作和消息傳遞中。CNN提取局部特征后，通過消息傳遞對特征進行進一步的過濾，同時對特征進行過濾。我們同時用當前值更新下一步。實際系統(tǒng)只能選擇一個特定的順序，很可能是同時進行的。