> For the complete documentation index, see [llms.txt](https://json007.gitbook.io/svm/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://json007.gitbook.io/svm/linear_model/nonlinear_regression.md).

# Nonlinear regression

## kernel function

最早是在学svm时接触了kernel function，构造了非线性关系。那么在Linear regression时遇到了非线性的问题，也同样可以用kernel去解决。

$$
f(x)=w^T\psi(x)  \\
w = \sum\_i \alpha\_i \psi(x\_i)  \\
\sum\_i \alpha\_i \psi(x\_i) \psi(x) = \sum\_i \alpha\_i K(x\_i,x\_t) = y\_t \quad \text{or} \quad KW=Y
$$

先对x做个非线性变换$$\psi(x)$$（例：对某些维做了多项式处理）,然后再对这些基函数线性组合。但是这样计算量会变大，于是采用kernel trick，直接用核函数计算出内积。

> 内积是满足交换律的，所以kernel function等满足$$K(x\_i,x\_j)= K(x\_j,x\_i)$$,更准确的是要满足Mercer定理：核矩阵是半正定的。\
> 原始参数w处于原空间prime space中，新参数$$\alpha$$则处于对偶空间dual space中。

[核方法(kernel method)超简说明](http://blog.csdn.net/shenxiaolu1984/article/details/50864845)\
[Kernel Functions for Machine Learning Applications](http://crsouza.com/2010/03/kernel-functions-for-machine-learning-applications/) 这个收集了很多的kernel

可以通过一些简单的kernel function 构造更多的kernel function，只要满足mercer定理就行。见prml第六章。

## Bayesian Kernel

内积用来衡量相似性，所以可以用其他方法来衡量。

## 线性回归与高斯过程的关系

Linear regression加了kernel之后能拟合的曲线跟高斯过程回归的很相似，所以在想这两个有没有本质上的联系呢，或者差异呢。\
线性回归可以看做是高斯过程的一个特殊例子， 将贝叶斯非线性回归中非线性变换后的向量内积用核函数代替，得到的模型就成为高斯过程回归。

[变量筛选——IV 、WOE 值及 python 实现](https://zhuanlan.zhihu.com/p/52616378)

[基于sklearn决策树的最优分箱与IV值计算-Python实现](https://zhuanlan.zhihu.com/p/58824825)

[PR Ⅲ：从高斯分布到高斯过程、高斯过程回归、贝叶斯优化](https://zhuanlan.zhihu.com/p/139478368)