MATH-碎碎念

记录一些不限于某个机器学习算法的数学知识

充分 必要 集合 包含

命题P的集合是A ，命题Q的集合是B

  • P、Q互为充要条件：

    集合A=集合B

  • P是Q的充分不必要条件：

    集合A真包含于集合B

  • P是Q的必要不充分条件：

    集合B真包含于集合A

必要，说明只是条件之一。充分，就是充分证明了。

协方差

协方差表示线性相关的方向，可以把协方差理解为两个向量的内积

X⋅Y=∑iXiYicov(X,Y)=∑i=1n(Xi−E[X])(Yi−E[Y])n−1或者cov(X,Y)=E[(X−E[X])(Y−E[Y])]=∫∫(X−E[X])(Y−E[Y])f(x,y)dxdy最外面的E用的是XY联合分布X \cdot Y = \sum_i X_i Y_i \\ cov(X,Y) = \frac {\sum_{i=1}^n (X_i- E[X])(Y_i- E[Y])}{n-1} \\ \text{或者} \\ cov(X,Y) = E [(X- E[X])(Y- E[Y])] \\ = \int \int (X- E[X])(Y- E[Y]) f(x,y) dx dy \\ \text{最外面的E用的是XY联合分布}

所以若 当cov(X,Y)>0cov(X,Y) \gt 0时，表明X与Y正相关 当cov(X,Y)<0cov(X,Y) \lt 0时，表明X与Y负相关 当cov(X,Y)=0cov(X,Y) = 0时，表明X与Y不相关

上述只有正负性，没有考虑大小。如何衡量相关层度？ 向量的内积相当于一个向量在另一个向量上的投影，或者理解为两个向量的重合度，重合度应该消除X,Y大小的影响，即：

X⋅Y∣∣X∣∣∣∣Y∣∣\frac {X \cdot Y}{||X|| ||Y||}

这就是相关系数，也就是一个余弦相似度。

如何通俗易懂地解释「协方差」与「相关系数」的概念？ 为什么样本方差（sample variance）的分母是 n-1？

算术 平均，几何平均

用几何平均来代替算术平均更为严谨？

http://www.52cs.org/?p=1490

https://www.zhihu.com/question/36324957 机器学习应该准备哪些数学预备知识？

PreviousSAGNextcost function

Last updated