Dirichlet分布

dirichlet 分布

Dirichlet distribution

它是关于多项分布的分布。从$Dir(\alpha,K)$分布中每次抽样，得到的都是一个K维随机向量，且是一个离散分布。

举个例子：一堆骰子，不全相同，即每个骰子摇出的点数都是一个分布。现在问，这个分布的分布是多少，即每种骰子的分布。

$\alpha$是concentration parameter，控制Dirichlet分布的形状，或者说，是控制不同多项分布的概率密度（注意：这里的随机变量是抽出的多项分布）。$\alpha$的具体作用，可以根据Dirichlet分布的密度函数推导，但更直观的方法是利用Polya urn模型：

假设一个盒子里最初有K种颜色的球各$\alpha$个（应作推广理解：$\alpha$可取任意正实数），每一次，从盒中随机取出一个球（在推广情形下，就是按盒中球数的分布选取一种颜色），把球放回，并且再向盒子中放进一个同样颜色的球。进行同样的操作N次，当N趋于无穷时，盒子中不同颜色的球数分布（K项分布）就服从Dirichlet分布。

$\alpha$到底有什么作用？试试把$\alpha$分别设成0.01, 1, 100，自己模拟一下就会明白了。

dirichlet.pdf 这个pdf上写的很清楚，就不照抄了

Dirichlet Process

Dirichlet process

Dirichlet Distribution（狄利克雷分布）与Dirichlet Process（狄利克雷过程）

假设一个模型是由k个高斯模型混合而成，那么建模时超参k设为多少合适呢。（注意不能把k也作为参数一起去求导求解，那样最优解是以每个样本为均值，0方差的模型）。

Dirichlet过程的价值： 非参数方法，无需事先预设cluster的数量，可推广到可数无穷个mixtures的情形；Bayesian方法，比传统的非参数统计更优美。Dirichlet作为多项分布的共轭先验，可以绕过推断过程中涉及的一些复杂的积分运算，使得构造有效的推断算法成为可能。

Dirichlet Processes 是一个什么样的随机过程 LDA-math-认识Beta/Dirichlet分布 [LDA数学八卦-2]认识Beta/Dirichlet分布 认识Beta/Dirichlet分布 概率与统计-chapter0-三个重要函数 The Dirichlet Distribution 狄利克雷分布 (PRML 2.2.1) 机器学习的数学基础（1）--Dirichlet分布 【机器学习中的数学】多项式分布及其共轭分布 Dirichlet分布与Dirichlet过程--非参贝叶斯推断学习 Infinite Mixture Models with Nonparametric Bayes and the Dirichlet Process

深入理解Dirichlet过程

隐式狄利克雷分布