LSTM

结构图

其实很好理解,先看第三个式子,这个cell的内容由前一个cell和输入组成。 但是ct1c_{t-1}要经过Forget Gate处理,即ftf_t。输入也经过一个Input Gate处理,即iti_t。 最后输出hth_tctc_t,但是也经过一个Output Gate。

前向传播###

后向传播###

参考佳文####

RNN以及LSTM的介绍和公式梳理 『RNN 监督序列标注』笔记-第四章 LSTM(Long Short-Term Memory) 理解 LSTM 网络

learning LSTM LSTM简介以及数学推导(FULL BPTT)

Materials to understand LSTM 这个很清晰。

人人都能用Python写出LSTM-RNN的代码

LSTM with associative memory cells 这个挺有效

Last updated

Was this helpful?