Dirichlet分布
Last updated
Was this helpful?
Last updated
Was this helpful?
它是关于多项分布的分布。从分布中每次抽样，得到的都是一个K维随机向量，且是一个离散分布。
举个例子：一堆骰子，不全相同，即每个骰子摇出的点数都是一个分布。现在问，这个分布的分布是多少，即每种骰子的分布。
是concentration parameter，控制Dirichlet分布的形状，或者说，是控制不同多项分布的概率密度（注意：这里的随机变量是抽出的多项分布）。的具体作用，可以根据Dirichlet分布的密度函数推导，但更直观的方法是利用Polya urn模型：
假设一个盒子里最初有K种颜色的球各个（应作推广理解：可取任意正实数），每一次，从盒中随机取出一个球（在推广情形下，就是按盒中球数的分布选取一种颜色），把球放回，并且再向盒子中放进一个同样颜色的球。进行同样的操作N次，当N趋于无穷时，盒子中不同颜色的球数分布（K项分布）就服从Dirichlet分布。
到底有什么作用？试试把分别设成0.01, 1, 100，自己模拟一下就会明白了。
这个pdf上写的很清楚，就不照抄了
假设一个模型是由k个高斯模型混合而成，那么建模时超参k设为多少合适呢。（注意不能把k也作为参数一起去求导求解，那样最优解是以每个样本为均值，0方差的模型）。
Dirichlet过程的价值： 非参数方法，无需事先预设cluster的数量，可推广到可数无穷个mixtures的情形；Bayesian方法，比传统的非参数统计更优美。Dirichlet作为多项分布的共轭先验，可以绕过推断过程中涉及的一些复杂的积分运算，使得构造有效的推断算法成为可能。