deeplearning
  • Introduction
  • 神经网络
    • 激励函数
    • 反向传播
  • Auto Encoder
    • Denoising Autoencoder
    • Variational Autoencoder
    • Wasserstein AE
  • CNN
    • Convolution
    • pooling
  • RBM
  • RBF
  • RNN
    • LSTM
    • practice
    • Transformer
  • DQN
    • nothing
    • Combinatorial Optimization
  • GAN
  • kownledge graphs
  • Genetic Algorithm
  • Meta Learning
  • Transformer
Powered by GitBook
On this page
  • 多层感知机
  • 参考佳文

Was this helpful?

神经网络

PreviousIntroductionNext激励函数

Last updated 4 years ago

Was this helpful?

多层感知机

感知机是激活函数是sign，输出1或-1，一层感知机是没法表达异或的，但是多层又无法求导。后来sigmoid函数用上之后，才有了现在的神经网络。

梯度消失、非凸极值和初值敏感、深层网络浅层梯度几乎为0、计算量大，需要很多样本

一个细节，很多资料上都草草而过，有的资料甚至写错了。

一批样本m个， 先一个个的前向传播，算出误差。然后反向求导，求出每个参数的偏导数，即整体的梯度。 然后拿这m个梯度，平均一下， 然后再更新参数。

跟Andrew Ng的线性回归课一样，先举一个样本，求梯度，梯度下降更新参数。然后对于m个样本，用的是梯度平均来更新参数的。

反向求导，不是对输出求导，而是对误差函数求导。

此图来自 BP 算法之一种直观的解释

参考佳文

人工神经网络之几何原理(Geometric principle of Artificial Neural Networks)

聊一聊深度学习的activation function

神经网络浅讲：从神经元到深度学习 Neural Networks, Manifolds, and Topology 神经网络、 流形和拓扑介绍及相关讨论 神经网络训练中的Tricks之高效BP（反向传播算法）

Little Explanations #1 -神经网络与模型压缩

http://www.jiqizhixin.com/article/2017

colah 深度学习系列长文（一）