Introduction

Deep Learning学习笔记。

计划从3个方面来梳理知识： Representation Optimization Generalization

表达（Representation）：这方面主要指的是深度学习模型和它要解决的问题之间的关系，比如给出一个设计好的深度学习模型，它适合表达什么样的问题，以及给定一个问题是否存在一个可以进行表达的深度学习模型。

常见的模型有：受限波尔兹曼模型（Restricted Boltzmann Machine）稀疏编码（Sparse Coding）和自编码器（Auto-encoder，denoising autoencoder）用于视觉和语音识别的卷积神经网络（Convolutional Neural Network）能够进行自我演绎的深度回归神经网络（Recurrent Neural Network，LSTM）会自主玩游戏的深度强化学习（Reinforcement Learning）

常见的激活函数： Relu （很多点被置0了，相当于删除了一些节点）， Relu有很多衍生版

优化（Optimization）：深度学习的问题最后似乎总能变成优化问题，这个时候数值优化的方法就变得尤其重要。随机梯度递减，结合动量（momentum），伪牛顿方法（Pseudo-Newton）以及自动步长等各种技巧。然而深度学习大多数有效的方法都是非凸的。

泛化（Generalization）：一个模型的泛化能力是指它在训练数据集上的误差是否能够接近所有可能测试数据误差的均值。各种Regularization方法： Dropout，DropConnect，非常有效的数据扩增（Data Agumentation）技术

input处理

【CTR预估】CTR模型如何加入稠密连续型和序列型特征？

多值类别特征加入CTR预估模型的方法

不为人知的稠密特征加入CTR预估模型的方法

新颖训练方法——用迭代投影算法训练神经网络

Deep Learning Book Chinese Translation

https://github.com/exacity/simplified-deeplearning

LIME - Local Interpretable Model-Agnostic Explanations 模型可解释工具，解释任何机器学习模型

Geoffrey Hinton 大神的 Neural networks for ML