Nonlinear regression

kernel function

最早是在学svm时接触了kernel function，构造了非线性关系。那么在Linear regression时遇到了非线性的问题，也同样可以用kernel去解决。

f(x)=w^T\psi(x) \\ w = \sum_i \alpha_i \psi(x_i) \\ \sum_i \alpha_i \psi(x_i) \psi(x) = \sum_i \alpha_i K(x_i,x_t) = y_t \quad \text{or} \quad KW=Y

先对x做个非线性变换 $\psi(x)$ （例：对某些维做了多项式处理）,然后再对这些基函数线性组合。但是这样计算量会变大，于是采用kernel trick，直接用核函数计算出内积。

内积是满足交换律的，所以kernel function等满足 $K(x_i,x_j)= K(x_j,x_i)$ ,更准确的是要满足Mercer定理：核矩阵是半正定的。原始参数w处于原空间prime space中，新参数 $\alpha$ 则处于对偶空间dual space中。

这个收集了很多的kernel

可以通过一些简单的kernel function 构造更多的kernel function，只要满足mercer定理就行。见prml第六章。

内积用来衡量相似性，所以可以用其他方法来衡量。

Linear regression加了kernel之后能拟合的曲线跟高斯过程回归的很相似，所以在想这两个有没有本质上的联系呢，或者差异呢。线性回归可以看做是高斯过程的一个特殊例子，将贝叶斯非线性回归中非线性变换后的向量内积用核函数代替，得到的模型就成为高斯过程回归。

Last updated 4 years ago

Was this helpful?

kernel function

最早是在学svm时接触了kernel function，构造了非线性关系。那么在Linear regression时遇到了非线性的问题，也同样可以用kernel去解决。

f(x)=w^T\psi(x) \\ w = \sum_i \alpha_i \psi(x_i) \\ \sum_i \alpha_i \psi(x_i) \psi(x) = \sum_i \alpha_i K(x_i,x_t) = y_t \quad \text{or} \quad KW=Y

先对x做个非线性变换

\psi(x)

（例：对某些维做了多项式处理）,然后再对这些基函数线性组合。但是这样计算量会变大，于是采用kernel trick，直接用核函数计算出内积。

内积是满足交换律的，所以kernel function等满足 $K(x_i,x_j)= K(x_j,x_i)$ ,更准确的是要满足Mercer定理：核矩阵是半正定的。原始参数w处于原空间prime space中，新参数 $\alpha$ 则处于对偶空间dual space中。

这个收集了很多的kernel

可以通过一些简单的kernel function 构造更多的kernel function，只要满足mercer定理就行。见prml第六章。

线性回归与高斯过程的关系