Linear Discriminant Analysis

Linear Discriminant Analysis (线性判别分析)的缩写也叫LDA,核心就是 J(w)=(μ2μ1)2s12+s22J(w) = \frac{(\mu_2 - \mu_1)^2}{s_1^2 + s_2^2} : 就是希望投影后的两类样本 的均值越远越好,但是各类别方差越小越好。

kernel LDA

y=WTX+λWy = W^T X + \lambda \left \| W \right \|

线性判别分析(二)——Bayes最优分类器的角度看LDAarrow-up-right

从bayes的角度看LDA很重要,因为QDA的train和predict一般实现就是从bayes角度实现的。而且和 NaiveBayes中的关联Gaussian Naive Bayes classifier 也是从这个角度的。

高斯判别分析模型arrow-up-right

MLAPP 读书笔记 - 04 高斯模型(Gaussian models)arrow-up-right

LDA假设各类别的协方差一样,而QDA没有该要求,所以更灵活。

一般看y=1的概率,但是也可以看log-probability ratios 。 (此不作为重点,因为一般分类用AUC来评价)

从此式也可以看出是关于x的一次函数,所以是线性判别

参考佳文

Linear Discriminant Analysis 线性判别分析arrow-up-right

https://mp.weixin.qq.com/s/AeLwfmM0N-b1dfxt3v4C-Aarrow-up-right

线性判别分析LDA详解arrow-up-right 机器学习中的数学(4)-线性判别分析(LDA), 主成分分析(PCA)arrow-up-right

正则化最小二乘线性判别分析算法arrow-up-right

https://blog.csdn.net/VictoriaW/article/details/78275394arrow-up-right

http://www.doc88.com/p-147667786401.htmlarrow-up-right

Last updated