一般形式:
∫−∞∞p(x)dxE(fj(x))H(x)J(p(x))∂p(x)∂Jp(x)======1∫−∞∞fj(x)p(x)dx=aj−∫−∞∞p(x)lnp(x)dx−∫−∞∞p(x)lnp(x)dx+λ0(∫−∞∞p(x)dx−1)+∑jλj(∫−∞∞fj(x)p(x)dx−aj)−lnp(x)−1+λ0+∑jλjfj(x)=0e−1+λ0e∑jλjfj(x) 看最后一个式子的形式,指数分布族。目前之前只知道,指数分布族在理论上一定有共轭先验。
Γ(x)ψ(x)B(p,q)γEEuler’s constant===∫0+∞e−ttx−1dt(x>0)=(x−1)!这是Gamma函数,不是Gamma分布dxdlnΓ(x)=Γ(x)Γ′(x)digamma functionΓ(p+q)Γ(p)Γ(q)beta function 正态分布
gamma
约束条件(即均值和几何平均值)
用乘子法构造拉格朗日函数去最大化熵
或者用变分原理+乘子法
求解
最后得:
power-law
幂率是几何平均约束下的最大熵分布
几何平均值
离散:几何平均值m的含义是N个个体的变量x的连续乘积再开N次方
连续:
构造拉格朗日函数
参考佳文