反向传播

反向传播算法最全解读，机器学习进阶必看！

$\frac {\partial L} {\partial w_j} =$

efficient backprop

efficient backprop

initializing weights

一般激活函数是tanh或其他sigmoid函数， 若输出值在两端很平缓的部分，反向求导时导数非常小，使得weights的更新量很小，导致很难训练。所以尽量让sigmoid的输出在中间陡峭的地方。 之前看到的神经网络都是用tanh+最后一种。

三十分钟理解计算图上的微积分：Backpropagation，反向微分

神经网络训练中的Tricks之高效BP（反向传播算法） 反向传导算法 A Step by Step Backpropagation Example 深度学习方法（六）：神经网络weight参数怎么初始化

详解反向传播算法(上)

离散优化代替反向传播：Pedro Domingos提出深度学习新方向