deeplearning
  • Introduction
  • 神经网络
    • 激励函数
    • 反向传播
  • Auto Encoder
    • Denoising Autoencoder
    • Variational Autoencoder
    • Wasserstein AE
  • CNN
    • Convolution
    • pooling
  • RBM
  • RBF
  • RNN
    • LSTM
    • practice
    • Transformer
  • DQN
    • nothing
    • Combinatorial Optimization
  • GAN
  • kownledge graphs
  • Genetic Algorithm
  • Meta Learning
  • Transformer
Powered by GitBook
On this page
  • efficient backprop
  • initializing weights

Was this helpful?

  1. 神经网络

反向传播

Previous激励函数NextAuto Encoder

Last updated 4 years ago

Was this helpful?

∂L∂wj=\frac {\partial L} {\partial w_j} =∂wj​∂L​=

efficient backprop

initializing weights

一般激活函数是tanh或其他sigmoid函数， 若输出值在两端很平缓的部分，反向求导时导数非常小，使得weights的更新量很小，导致很难训练。所以尽量让sigmoid的输出在中间陡峭的地方。 之前看到的神经网络都是用tanh+最后一种。

反向传播算法最全解读，机器学习进阶必看！
efficient backprop
三十分钟理解计算图上的微积分：Backpropagation，反向微分
神经网络训练中的Tricks之高效BP（反向传播算法）
反向传导算法
A Step by Step Backpropagation Example
深度学习方法（六）：神经网络weight参数怎么初始化
详解反向传播算法(上)
离散优化代替反向传播：Pedro Domingos提出深度学习新方向