SVM由浅入深的尝试(五)核函数的理解

发布网友发布时间：2023-04-26 07:59

共1个回答

热心网友时间：2023-11-10 02:18

对于线性分类问题，线性分类向量机是一种非常有效的方法。但是，当分类变得不线性，线性分类向量机就会失效，我们就需要新的方法去解决，那就是非线性向量机，而在非线性向量机中，一种非常重要的方法就必须要知道，那就是核函数。

对于我本人来说，因为之前也涉猎过核函数，因此，在理解上可能相对快一点。
网上有很多对核函数的介绍，知乎上的介绍我印象很深，有兴趣的可以搜一下。
核函数的入门理解还是要从，将二维非线性问题转化为三维线性问题。

原本线性不可分的问题瞬间变成了线性分割面可以分类的问题。很神奇！
具体实现的手段就是增加维度。

上图中，我们发现x1,x2是非线性分类，于是我们通过变化，z=phi(x)，我们发现，z1,z2是线性分类问题。

这里的phi(x)便是映射函数。

其实白话理解就是，假设存在映射函数phi(x)，对初始空间所有的x,z，存在

那么，K(x,z)便是核函数。

从上例可以看出，核函数一定，映射函数是不唯一的，而且当维度是无线大的时候，我们几乎无法求得映射函数，那么核函数的作用就在于此，核函数避免了映射函数的求解，叫做核技巧。

核函数是半正定矩阵。

分类决策函数为

分类决策函数为：

...太复杂，没看懂，有时间再看。

我们的线性问题也可以用线性核来解决。
Linear kernel

因此，我们得到的对偶问题就可以切换，

切换为

注：书中的SMO算法也是用线性核的凸二次规划对偶方程求解。