> For the complete documentation index, see [llms.txt](https://json007.gitbook.io/svm/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://json007.gitbook.io/svm/mathsui_sui_nian.md).

# MATH-碎碎念

记录一些不限于某个机器学习算法的数学知识

## 充分 必要 集合 包含

命题P的集合是A\
，命题Q的集合是B

* P、Q互为充要条件：

  集合A=集合B
* P是Q的充分不必要条件：

  集合A真包含于集合B
* P是Q的必要不充分条件：

  集合B真包含于集合A

必要，说明只是条件之一。充分，就是充分证明了。

## 协方差

协方差表示线性相关的方向，可以把协方差理解为两个向量的内积

$$
X \cdot Y = \sum\_i X\_i Y\_i \\
cov(X,Y) = \frac {\sum\_{i=1}^n (X\_i- E\[X])(Y\_i- E\[Y])}{n-1} \\

\text{或者}  \\

cov(X,Y) =  E \[(X- E\[X])(Y- E\[Y])] \\
\= \int \int (X- E\[X])(Y- E\[Y]) f(x,y) dx dy \\
\text{最外面的E用的是XY联合分布}
$$

所以若\
当$$cov(X,Y) \gt 0$$时，表明X与Y正相关\
当$$cov(X,Y) \lt 0$$时，表明X与Y负相关\
当$$cov(X,Y) = 0$$时，表明X与Y不相关

上述只有正负性，没有考虑大小。如何衡量相关层度？\
向量的内积相当于一个向量在另一个向量上的投影，或者理解为两个向量的重合度，重合度应该消除X,Y大小的影响，即：

$$
\frac {X \cdot Y}{||X|| ||Y||}
$$

这就是相关系数，也就是一个**余弦相似度。**

$$
r = \frac {\sum\_{i=1}^n (X\_i- E\[X])(Y\_i- E\[Y])}{\sqrt \sum\_{i=1}^n (X\_i- E\[X])^2 \sqrt \sum\_{i=1}^n (Y\_i- E\[Y])^2 }
$$

[如何通俗易懂地解释「协方差」与「相关系数」的概念？](https://www.zhihu.com/question/20852004)\
[为什么样本方差（sample variance）的分母是 n-1？](https://www.zhihu.com/question/20099757)

算术 平均，几何平均

[用几何平均来代替算术平均更为严谨？](https://www.zhihu.com/question/20904681/answer/155682746)

<http://www.52cs.org/?p=1490>

<https://www.zhihu.com/question/36324957> 机器学习应该准备哪些数学预备知识？