bayes

bayes公式

随机试验具有三个特征：

• 可以在相同的条件下重复进行

• 每次试验的结果不止一个，但预先知道试验的所有可能的结果

• 每次试验前不能确定那个结果会出现

样本空间：随机试验E的所有结果构成的集合称为E的样本空间，记为$S=\{e\}$。 S中的元素为基本事件或样本点。 随机事件：一般称S的子集为随机事件。比如空集为不可能事件，全集为必然事件。 条件概率：$P(B|A) = \frac {P(AB)}{P(A)} \qquad P(A) \neq 0$

bayes

$P(H|D) = \frac {P(H)P(D|H)}{P(D)}$

$P(H|D)$ 后验概率

$P(H)$ 先验概率

$P(D|H)$ 似然概率

$P(D)$ 边缘概率

朴素bayes分类法

对给定的输入x，通过学习到的模型计算后验概率分布$P(Y=c_k | X=x)$,将后验概率最大的类作为x的类输出。

新闻分类

$P(y_i|X) = \frac {P(X|y_i)P(y_i)}{P(X)} = \frac {P(y_i) \prod_j P(x_j|y_i)}{P(X)}$

• $P(y_i)$每个类别的先验概率，如P(军事)
• $P(X|y_i)$每个类别产生该对象的概率
• $P(x_i|y_i)$每个类别产生该特征的概率，如P(苹果|科技)

参考佳文

朴素贝叶斯理论推导与三种常见模型 细读此文中的 @Xiangyu Wang 和 @秦松雄 回答

如何通俗地解释贝叶斯线性回归的基本原理？ 细读 @dawnmist 的回答

清华大学计算机系朱军教授：机器学习里的贝叶斯基本理论、模型和算法 基于 AC 自动机和贝叶斯方法的垃圾内容识别

从贝叶斯定理到概率分布：综述概率论基本定义