Nonlinear regression

kernel function

最早是在学svm时接触了kernel function，构造了非线性关系。那么在Linear regression时遇到了非线性的问题，也同样可以用kernel去解决。

$$f(x)=w^T\psi(x) \\ w = \sum_i \alpha_i \psi(x_i) \\ \sum_i \alpha_i \psi(x_i) \psi(x) = \sum_i \alpha_i K(x_i,x_t) = y_t \quad \text{or} \quad KW=Y$$

先对x做个非线性变换$\psi(x)$（例：对某些维做了多项式处理）,然后再对这些基函数线性组合。但是这样计算量会变大，于是采用kernel trick，直接用核函数计算出内积。

内积是满足交换律的，所以kernel function等满足$K(x_i,x_j)= K(x_j,x_i)$,更准确的是要满足Mercer定理：核矩阵是半正定的。 原始参数w处于原空间prime space中，新参数$\alpha$则处于对偶空间dual space中。

核方法(kernel method)超简说明 Kernel Functions for Machine Learning Applications 这个收集了很多的kernel

可以通过一些简单的kernel function 构造更多的kernel function，只要满足mercer定理就行。见prml第六章。

Bayesian Kernel

内积用来衡量相似性，所以可以用其他方法来衡量。

线性回归与高斯过程的关系

Linear regression加了kernel之后能拟合的曲线跟高斯过程回归的很相似，所以在想这两个有没有本质上的联系呢，或者差异呢。 线性回归可以看做是高斯过程的一个特殊例子， 将贝叶斯非线性回归中非线性变换后的向量内积用核函数代替，得到的模型就成为高斯过程回归。

变量筛选——IV 、WOE 值及 python 实现

基于sklearn决策树的最优分箱与IV值计算-Python实现

PR Ⅲ：从高斯分布到高斯过程、高斯过程回归、贝叶斯优化