Introduction
Last updated
Was this helpful?
Last updated
Was this helpful?
Deep Learning学习笔记。
计划从3个方面来梳理知识： Representation Optimization Generalization
表达（Representation）：这方面主要指的是深度学习模型和它要解决的问题之间的关系，比如给出一个设计好的深度学习模型，它适合表达什么样的问题，以及给定一个问题是否存在一个可以进行表达的深度学习模型。
常见的模型有： 受限波尔兹曼模型（Restricted Boltzmann Machine） 稀疏编码（Sparse Coding）和自编码器（Auto-encoder，denoising autoencoder） 用于视觉和语音识别的卷积神经网络（Convolutional Neural Network） 能够进行自我演绎的深度回归神经网络（Recurrent Neural Network，LSTM） 会自主玩游戏的深度强化学习（Reinforcement Learning）
常见的激活函数： Relu （很多点被置0了，相当于删除了一些节点）， Relu有很多衍生版
优化（Optimization）：深度学习的问题最后似乎总能变成优化问题，这个时候数值优化的方法就变得尤其重要。 随机梯度递减，结合动量（momentum），伪牛顿方法（Pseudo-Newton）以及自动步长等各种技巧。然而深度学习大多数有效的方法都是非凸的。
泛化（Generalization）：一个模型的泛化能力是指它在训练数据集上的误差是否能够接近所有可能测试数据误差的均值。 各种Regularization方法： Dropout，DropConnect，非常有效的数据扩增（Data Agumentation）技术
input处理
模型可解释工具，解释任何机器学习模型