> For the complete documentation index, see [llms.txt](https://json007.gitbook.io/deeplearning/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://json007.gitbook.io/deeplearning/master.md).

# Introduction

Deep Learning学习笔记。

计划从3个方面来梳理知识： Representation Optimization Generalization

**表达（Representation）**：这方面主要指的是深度学习模型和它要解决的问题之间的关系，比如给出一个设计好的深度学习模型，它适合表达什么样的问题，以及给定一个问题是否存在一个可以进行表达的深度学习模型。

常见的模型有：\
受限波尔兹曼模型（Restricted Boltzmann Machine）\
稀疏编码（Sparse Coding）和自编码器（Auto-encoder，denoising autoencoder）\
用于视觉和语音识别的卷积神经网络（Convolutional Neural Network）\
能够进行自我演绎的深度回归神经网络（Recurrent Neural Network，LSTM）\
会自主玩游戏的深度强化学习（Reinforcement Learning）

常见的激活函数：\
Relu （很多点被置0了，相当于删除了一些节点）， Relu有很多衍生版

**优化（Optimization）**：深度学习的问题最后似乎总能变成优化问题，这个时候数值优化的方法就变得尤其重要。\
随机梯度递减，结合动量（momentum），伪牛顿方法（Pseudo-Newton）以及自动步长等各种技巧。然而深度学习大多数有效的方法都是非凸的。

**泛化（Generalization）**：一个模型的泛化能力是指它在训练数据集上的误差是否能够接近所有可能测试数据误差的均值。\
各种Regularization方法： Dropout，DropConnect，非常有效的数据扩增（Data Agumentation）技术

input处理

[【CTR预估】CTR模型如何加入稠密连续型和序列型特征？](https://mp.weixin.qq.com/s/6pLoEBIp6Sn-vSBeCPnPZQ)

[多值类别特征加入CTR预估模型的方法](https://mp.weixin.qq.com/s/DBhtJUISUPZ9Ta69jcM2Ng)

[不为人知的稠密特征加入CTR预估模型的方法](https://mp.weixin.qq.com/s/BLPXaVuDKHxh6B9NoGGerg)

[新颖训练方法——用迭代投影算法训练神经网络](https://yq.aliyun.com/articles/72738)

[Deep Learning Book Chinese Translation](https://exacity.github.io/deeplearningbook-chinese/)

<https://github.com/exacity/simplified-deeplearning>

[LIME - Local Interpretable Model-Agnostic Explanations](http://homes.cs.washington.edu/~marcotcr/blog/lime/%29%20非常推荐。%20利用他的工作可以发现经典的的20%20newsgroup分类问题竟然存在不为人知的问题。%20并且可以解释深度网络的分类行为。%20代码：%20\[Lime:%20Explaining%20the%20predictions%20of%20any%20machine%20learning%20classifier]%28https://github.com/marcotcr/lime) 模型可解释工具，解释任何机器学习模型

[Geoffrey Hinton 大神的 Neural networks for ML](https://www.coursera.org/course/neuralnets%29%20%20%0A\[deeplearningbook。Bengio等，近700页]%28http://www.deeplearningbook.org/%29%20pdf版本%20\[MIT%20Deep%20Learning%20Book%20in%20PDF%20format]%28https://github.com/HFTrader/DeepLearningBook%29%20中文版%20\[Deep%20Learning%20Book%20Chinese%20Translation]%28https://github.com/exacity/deeplearningbook-chinese%29%20%20%0A\[新版的UFLDL%20Tutorial]%28http://ufldl.stanford.edu/tutorial/%29%20%20%0A\[DeepLearning.TV]%28https://www.youtube.com/channel/UC9OeZkIwhzfv-_Cb7fCikLQ%29%20%20%0A\[牛津大学的%20Deep%20learning%20at%20Oxford%202015]%28https://www.youtube.com/playlist?list=PLE6Wd9FR--EfW8dtjAuPoTuPcqmOV53Fu%29%20%20%0A\[神经网络与深度学习]%28https://tigerneil.gitbooks.io/neural-networks-and-deep-learning-zh/content/%29%20%20%0A\[UFLDL]%28http://deeplearning.stanford.edu/wiki/index.php/UFLDL教程%29%20%20%0A\[深度学习现在坑还多吗？]%28https://www.zhihu.com/question/27608272)

[DeepLearning（深度学习）原理与实现（一）](http://blog.csdn.net/marvin521/article/details/8886971)

[word2vec 中的数学原理详解](http://www.cnblogs.com/peghoty/p/3857839.html)

[深度学习与神经网络核心技术全局概览](http://synchuman.baijia.baidu.com/article/574172)

[神经网络与深度学习 邱锡鹏](https://nndl.github.io/)

[Recent Progress in Deep Learning forNatural Language Processing](https://cn.aminer.org/archive/5832dd6a68ab39f745ee289f)

[97.5%准确率的深度学习中文分词（字嵌入+Bi-LSTM+CRF）](https://github.com/koth/kcws)

<https://www.zhihu.com/question/36591394>

[深度 | 自然语言处理领域深度学习研究总结：从基本概念到前沿成果](https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==∣=2650722208\&idx=1\&sn=52397806416c7d7f570d5c8fc9ecb96e)

[如何训练深度神经网络？老司机的 15 点建议](http://weibo.com/ttarticle/p/show?id=2309351000224065307315549362)

[Learning AI if You Suck at Math—P4—Tensors Illustrated (with Cats!)](https://hackernoon.com/learning-ai-if-you-suck-at-math-p4-tensors-illustrated-with-cats-27f0002c9b32#.sq4r8wljl)

[深度学习模型压缩](https://arxiv.org/abs/1702.04008)

[浅析Geoffrey Hinton最近提出的Capsule计划](https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==\&mid=2650731207\&idx=1\&sn=db9b376df658d096f3d1ee71179d9c8a\&chksm=871b36b9b06cbfafb152abaa587f6730716c5069e8d9be4ee9def055bdef089d98424d7fb51b#rd)

[结合遗传算法与DNN的EDEN：自动搜索神经网络架构与超参数](https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==\&mid=2650731427\&idx=5\&sn=74e841fe1b898330b6a15c2976d0c40c\&chksm=871b37ddb06cbecb56cdb15bcc7ea8c7ed7765575a3946e85525d33e554fc9be6a5587e344a0#rd)

[深度学习中的注意力机制](https://mp.weixin.qq.com/s/swLwla75RIQfyDDCPYynaw)

[谷歌大脑最新研究：不用「训练」！高斯过程「超越」随机梯度下降](https://mp.weixin.qq.com/s/7eElasaYodW6qjlE1c3Z7Q)

[各种机器学习任务的顶级结果（论文）汇总](https://github.com//RedditSota/state-of-the-art-result-for-machine-learning-problems)

[Coursera深度学习教程中文笔记](https://github.com/fengdu78/deeplearning_ai_books)