前饋神經(jīng)網(wǎng)絡、BP神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡的區(qū)別與聯(lián)系？前饋神經(jīng)網(wǎng)絡是一層節(jié)點，只把前一層作為輸入，輸出到后一層，本身和其他層之間沒有聯(lián)系，因為數(shù)據(jù)是一層前向傳播的，所以叫前饋網(wǎng)絡。BP網(wǎng)絡是最常見的前

前饋神經(jīng)網(wǎng)絡、BP神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡的區(qū)別與聯(lián)系？

前饋神經(jīng)網(wǎng)絡是一層節(jié)點，只把前一層作為輸入，輸出到后一層，本身和其他層之間沒有聯(lián)系，因為數(shù)據(jù)是一層前向傳播的，所以叫前饋網(wǎng)絡。

BP網(wǎng)絡是最常見的前饋網(wǎng)絡之一。BP體現(xiàn)在運行機制上。數(shù)據(jù)輸入后，逐層向前傳播，然后計算損失函數(shù)，得到損失函數(shù)的殘差，再逐層向后傳播殘差。

卷積神經(jīng)網(wǎng)絡是基于人類視覺的特點，即視覺是從局部到全局的認知，所以并不是所有的人都使用全連接（一般只有1-2個全連接層，甚至最近的研究建議取消CNN的全連接層），而是使用滑動窗口只處理一個部分，這個運算就像一個濾波器，這個運算叫做卷積運算（不是卷積運算）信號處理的卷積運算，當然也可以用卷積運算）。這種網(wǎng)絡稱為卷積神經(jīng)網(wǎng)絡。

目前最流行的網(wǎng)絡有前饋網(wǎng)絡和遞歸網(wǎng)絡，一般都是BP網(wǎng)絡；深度網(wǎng)絡一般采用卷積運算，因此也屬于卷積神經(jīng)網(wǎng)絡。深度學習前的網(wǎng)絡都是連通的，但不是卷積網(wǎng)絡，而是前饋網(wǎng)絡和BP網(wǎng)絡。

BP神經(jīng)網(wǎng)絡和感知器有什么區(qū)別？

多層感知器是指結(jié)構(gòu)，BP是指學習算法。感知器模型非常簡單，即將神經(jīng)元上的多個輸入之和帶入輸出函數(shù)減去閾值。多層感知器是由多層感知器模型組成的前向網(wǎng)絡。BP是指BP算法，BP網(wǎng)絡是指具有多層感知器結(jié)構(gòu)和BP算法的網(wǎng)絡。BP網(wǎng)絡是一種多層感知器網(wǎng)絡，但BP網(wǎng)絡突出算法，多層感知器突出結(jié)構(gòu)。

RBF神經(jīng)網(wǎng)絡和BP神經(jīng)網(wǎng)絡有什么區(qū)別？

BP神經(jīng)網(wǎng)絡的學習速率是固定的，因此BP神經(jīng)網(wǎng)絡的收斂速度慢，需要較長的訓練時間。對于一些復雜的問題，BP算法的訓練時間可能很長，這主要是由于學習速度慢。RBF神經(jīng)網(wǎng)絡是一種高效的前饋網(wǎng)絡，具有其它前饋網(wǎng)絡所不具備的最佳逼近性能和全局最優(yōu)特性，具有結(jié)構(gòu)簡單、訓練速度快等優(yōu)點。

從RNN到LSTM，性能良好的神經(jīng)網(wǎng)絡到底是如何工作的？

RNN（遞歸神經(jīng)網(wǎng)絡）顧名思義，就是把以前的輸出（隱藏狀態(tài)）作為輸入，形成一個循環(huán)。

（RNN擴展，圖像源：colah.github.io文件)

上面的展開圖清楚地顯示了RNN的結(jié)構(gòu)。不難發(fā)現(xiàn)RNN的結(jié)構(gòu)與序列化數(shù)據(jù)是一致的。實際上，RNN實際上主要用于處理序列化數(shù)據(jù)。

基本上，不使用原始RNN，而是使用RNN的變體。

漸變裁剪可以緩解漸變爆炸，而RNN變體（如主流LSTM和Gru）可以緩解漸變消失。

（一般是sigmoid層）建模輸入、輸出和遺忘。

（圖片來源：中新網(wǎng)/@左上角的藍色是輸入門，右上角的綠色是輸出門，底部的紅色是遺忘門。