在訓(xùn)練LSTM的時(shí)候使用除了Tanh/Sigmoid以外的激活函數(shù)效果都很差，是為什么？LSTM中使用的所有Sigmoid都是門，其輸出必須在0.1之間，所以relu不能確定elliotsig也很難飽

在訓(xùn)練LSTM的時(shí)候使用除了Tanh/Sigmoid以外的激活函數(shù)效果都很差，是為什么？

LSTM中使用的所有Sigmoid都是門，其輸出必須在0.1之間，所以relu不能確定

elliotsig也很難飽和。LSTM應(yīng)該需要飽和門來記住或忘記信息。不飽和門會(huì)使過去和現(xiàn)在的記憶一直重疊，這會(huì)導(dǎo)致記憶混亂

rank（）有不連續(xù)的數(shù)字，如按1，2，2，3的值計(jì)算的數(shù)字，出現(xiàn)的次數(shù)是1，2，2，4密度例如，數(shù)據(jù)值1，2，2，3的個(gè)數(shù)是1，2，2，3