LSTM

结构图

其实很好理解，先看第三个式子，这个cell的内容由前一个cell和输入组成。 但是$c_{t-1}$要经过Forget Gate处理，即$f_t$。输入也经过一个Input Gate处理，即$i_t$。 最后输出$h_t$由$c_t$，但是也经过一个Output Gate。

前向传播###

后向传播###

参考佳文####

RNN以及LSTM的介绍和公式梳理 『RNN 监督序列标注』笔记-第四章 LSTM（Long Short-Term Memory） 理解 LSTM 网络

learning LSTM LSTM简介以及数学推导(FULL BPTT)

Materials to understand LSTM 这个很清晰。

人人都能用Python写出LSTM-RNN的代码

LSTM with associative memory cells 这个挺有效