MATH-碎碎念

记录一些不限于某个机器学习算法的数学知识

充分 必要 集合 包含

命题P的集合是A ，命题Q的集合是B

• P、Q互为充要条件：

  集合A=集合B

• P是Q的充分不必要条件：

  集合A真包含于集合B

• P是Q的必要不充分条件：

  集合B真包含于集合A

必要，说明只是条件之一。充分，就是充分证明了。

协方差

协方差表示线性相关的方向，可以把协方差理解为两个向量的内积

$$X \cdot Y = \sum_i X_i Y_i \\ cov(X,Y) = \frac {\sum_{i=1}^n (X_i- E[X])(Y_i- E[Y])}{n-1} \\ \text{或者} \\ cov(X,Y) = E [(X- E[X])(Y- E[Y])] \\ = \int \int (X- E[X])(Y- E[Y]) f(x,y) dx dy \\ \text{最外面的E用的是XY联合分布}$$

所以若 当$cov(X,Y) \gt 0$时，表明X与Y正相关 当$cov(X,Y) \lt 0$时，表明X与Y负相关 当$cov(X,Y) = 0$时，表明X与Y不相关

上述只有正负性，没有考虑大小。如何衡量相关层度？ 向量的内积相当于一个向量在另一个向量上的投影，或者理解为两个向量的重合度，重合度应该消除X,Y大小的影响，即：

$$\frac {X \cdot Y}{||X|| ||Y||}$$

这就是相关系数，也就是一个余弦相似度。

r = \frac {\sum_{i=1}^n (X_i- E[X])(Y_i- E[Y])}{\sqrt \sum_{i=1}^n (X_i- E[X])^2 \sqrt \sum_{i=1}^n (Y_i- E[Y])^2 }

如何通俗易懂地解释「协方差」与「相关系数」的概念？ 为什么样本方差（sample variance）的分母是 n-1？

算术 平均，几何平均

用几何平均来代替算术平均更为严谨？

http://www.52cs.org/?p=1490

https://www.zhihu.com/question/36324957 机器学习应该准备哪些数学预备知识？