Logistic Regression

模型的由来

Exponential model的解释

假设第i个特征对第k类的贡献是 $w_{ki}$ ,则数据点 $(x_1,\ldots,x_n)$ 属于第k类的概率正比于 $\exp(w_{k1}x_i + \ldots + w_{kn}x_n)$ 。

因为一个数据点属于各类的概率之和为1，所以可以得到 $P(y=k) = \frac {\exp(\sum_{i=1}^n w_{ki}x_i)}{\sum_k \exp(\sum_{i=1}^n w_{ki}x_i)} = \frac {\exp(W_k^T X)}{\sum_k \exp(W_k^T X)}$ 。

若只有两类，将分子分母同除分子，则有 $P(Y=1|x) = \frac {1}{1+exp(-w \cdot x)}$ 。

bernoulli分布的解释

二项分布，或者bernoulli分布的exponential family形式，就是 $\frac {1}{1+e^{-z}}$ $p(y|x,w) = Ber(y|sign(W^Tx))$

对数几率比的解释

Logit Logistic function

logit(P(y=1|x)) = \log \frac{P(y=1|x)}{P(y=0|x)} = \log \frac{P(y=1|x)}{1-P(y=1|x)} = w \cdot x \\ P(y=1|x) = logit^{-1} (w \cdot x) = \color{Blue}{\frac {1}{1+\exp(-w \cdot x)}} = \frac {\exp(w \cdot x)}{1+\exp(w \cdot x)} \\ P(y=0|x) = 1-P(y=1|x) = \color{Blue}{\frac {1}{1+\exp(w \cdot x)}}

LR本质上是线性回归，只是在特征到的结果的映射中加入了一层函数映射

通过logistic regression模型可以将线性函数转换为概率。线性函数的值越接近正无穷，概率值就越接近1；线性函数的值越接近负无穷，概率值就越接近0。这样的模型就是logistic regression模型。

为什么要加log，不直接是几率比？如果P是一个分布呢？线性空间？

对数变换与正态分布

模型参数估计

模型学习时，可以用极大似然估计法估计模型参数

\max_w L(w) = \prod_j p^y (1-p)^{(1-y)} \\

如果类别标签为 $\{-1,1\}$ ,则极大似然可以改写成

max_w L(w) = \prod_j \frac {1}{1+\exp(-y_j w^T x_j)} \\ \min_w -\log L(w) = \sum_j \log(1+\exp(-y_j w^T x_j)) \\ \text{这个形式方便于并行化,比如梯度：} \\ G = \sum_j [\frac {1}{1+\exp(-y_j w^T x_j)} -1]y_i x_i