# Dirichlet分布

## dirichlet 分布

[Dirichlet distribution](https://en.wikipedia.org/wiki/Dirichlet_distribution)

它是关于多项分布的分布。从$$Dir(\alpha,K)$$分布中每次抽样，得到的都是一个K维随机向量，且是一个离散分布。

举个例子：一堆骰子，不全相同，即每个骰子摇出的点数都是一个分布。现在问，这个分布的分布是多少，即每种骰子的分布。

$$\alpha$$是concentration parameter，控制Dirichlet分布的形状，或者说，是控制不同多项分布的概率密度（注意：这里的随机变量是抽出的多项分布）。$$\alpha$$的具体作用，可以根据Dirichlet分布的密度函数推导，但更直观的方法是利用Polya urn模型：

假设一个盒子里最初有K种颜色的球各$$\alpha$$个（应作推广理解：$$\alpha$$可取任意正实数），每一次，从盒中随机取出一个球（在推广情形下，就是按盒中球数的分布选取一种颜色），把球放回，并且再向盒子中放进一个同样颜色的球。进行同样的操作N次，当N趋于无穷时，盒子中不同颜色的球数分布（K项分布）就服从Dirichlet分布。

$$\alpha$$到底有什么作用？试试把$$\alpha$$分别设成0.01, 1, 100，自己模拟一下就会明白了。

[dirichlet.pdf](http://www.cs.cmu.edu/~epxing/Class/10701-08s/recitation/dirichlet.pdf) 这个pdf上写的很清楚，就不照抄了

## Dirichlet Process

[Dirichlet process](https://en.wikipedia.org/wiki/Dirichlet_process)

[Dirichlet Distribution（狄利克雷分布）与Dirichlet Process（狄利克雷过程）](http://www.datalearner.com/blog/1051459673766843)

假设一个模型是由k个高斯模型混合而成，那么建模时超参k设为多少合适呢。（注意不能把k也作为参数一起去求导求解，那样最优解是以每个样本为均值，0方差的模型）。

Dirichlet过程的价值：\
非参数方法，无需事先预设cluster的数量，可推广到可数无穷个mixtures的情形；Bayesian方法，比传统的非参数统计更优美。Dirichlet作为多项分布的共轭先验，可以绕过推断过程中涉及的一些复杂的积分运算，使得构造有效的推断算法成为可能。

[Dirichlet Processes 是一个什么样的随机过程](https://www.zhihu.com/question/22717561)\
[LDA-math-认识Beta/Dirichlet分布](http://cos.name/2013/01/lda-math-beta-dirichlet/)\
[\[LDA数学八卦-2\]认识Beta/Dirichlet分布](http://www.flickering.cn/%E6%95%B0%E5%AD%A6%E4%B9%8B%E7%BE%8E/2014/06/lda%E6%95%B0%E5%AD%A6%E5%85%AB%E5%8D%A6%E8%AE%A4%E8%AF%86betadirichlet%E5%88%86%E5%B8%83/)\
[认识Beta/Dirichlet分布](http://xinsong.github.io/2014/04/29/beta/)\
[概率与统计-chapter0-三个重要函数](http://computationalads.github.io/2015/07/04/beta-gamma-dirichlet-function/)\
[The Dirichlet Distribution 狄利克雷分布 (PRML 2.2.1)](http://www.xperseverance.net/blogs/2012/03/510/)\
[机器学习的数学基础（1）--Dirichlet分布](http://blog.csdn.net/jwh_bupt/article/details/8841644)\
[【机器学习中的数学】多项式分布及其共轭分布](http://www.jianshu.com/p/5883933236b5)\
[Dirichlet分布与Dirichlet过程--非参贝叶斯推断学习](http://paley.mydiscussion.net/?p=332\&ckattempt=1)\
[Infinite Mixture Models with Nonparametric Bayes and the Dirichlet Process](http://blog.echen.me/2012/03/20/infinite-mixture-models-with-nonparametric-bayes-and-the-dirichlet-process/)

[深入理解Dirichlet过程](http://www.jianshu.com/p/096a8a7ca173)

[隐式狄利克雷分布](https://zhuanlan.zhihu.com/p/29257655)