支持向量机分类 线性支持向量分类机 可分支持向量分类机

支持向量机是一种分类算法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。

支持向量机(SupportVectorMachine,SVM)是CorinnaCortes和Vapnik等于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。在机器学习中，支持向量机(SVM，还支持矢量网络)是与相关的学习算法有关的监督学习模型，可以分析数据，识别模式，用于分类和回归分析。我们通常希望分类的过程是一个机器学习的过程。这些数据点是n维实空间中的点。我们希望能够把这些点通过一个n1维的超平面分开。通常这个被称为线性分类器。有很多分类器都符合这个要求。但是我们还希望找到分类最佳的平面，即使得属于两个不同类的数据点间隔最大的那个面，该面亦称为最大间隔超平面。如果我们能够找到这个面，那么这个分类器就称为最大间隔分类器。

𝑤∙𝑥+𝑏=0 内侧 内侧 外侧 外侧 𝑤∙𝑥+𝑏=−1

线性可分支持向量分类机

1：线性支持向量分类机

当训练集𝑇的两类样本线性可分时，除了普通支持向量分布在两个分类边界(wx)b1上外，其余的所有样本点都分布在分类边界以外。此时构造的超平面是硬间隔超平面。当训练集T的两类样本近似线性可分时，即允许存在不满足约束条件

yi[(wai)b]1

的样本点后，仍然能继续使用超平面进行划分。只是这时要对间隔进行“软化”，构造软间隔超平面。简言之就是在两个分类边界(wx)b1之间允许出现样本点，这类样本点称为边界支持向量。显然两类样本点集的凸包是相交的，只是相交的部分较小。

软化的方法是通过引入松弛变量i0,i0,1,,l，来得到“软化”的约束条件

yi(wai)b1i,i0,1,,l，当i充分大时，样本点总是满足上述的约束条件，但是也要设法避免i取太大的值，为此要在目标函数中对它进行惩罚，得到如下的二次规划问题：

l12minwCi

2i1yi(wai)b1is.t. i0,i1,2,,l其中：C0是一个惩罚参数。其Lagrange函数如下：

lll12L(w,b,,,)wCiiyi[(wai)b]1iii

2i1i1i1其中：i0,i0。原问题的对偶问题如下：

l1llmaxyiyjij(aiaj)i 2i1i1i1lyii0, s.t.i10C,i1,2,,li,,求解上述最优化问题，得到最优解=1l,计算

w1yiai

i1l选择的一个正分量0jC,并以此计算

byjyii(aiaj)

i1l于是构造分类超平面(wx)b0，并由此求得分类函数

lf(x)sgniyi(aix)b.

i1从而对未知样本进行分类，可见当C时，就等价于线性可分的情形。

2:可分支持向量分类机

当训练集T的两类样本点集集合的区域很大时，上述用来处理线性不可分问题的线性支持向量分类机就不适用了，可分支持向量分类机给出了解决这种问题的一种有效途径。通过引进从输入空间到另一个高维的Hilbert空间H的变换x(x)，将原输入空间的训练集

T[a1,y1],[a2,y2],,[at,yt](Y), 转换为𝐻𝑖𝑙𝑏𝑒𝑟𝑡空间H中新的训练集

T[a1,y1],[a2,y2],,[at,yt][(a1),y1],[(a2),y2],,[(at),yt], 使其在𝐻𝑖𝑙𝑏𝑒𝑟𝑡空间𝐻中线性可分，𝐻𝑖𝑙𝑏𝑒𝑟𝑡空间H也称为特征空间。然后在空间H中求得超平面[w(x)]b0，这个超平面可以硬性划分训练集T，于是原问题转化为如下的二次规划问题：

12w, 2s.t.yi[w(x)]b1,i1,2,,l

min采用核函数K满足

K(aiaj)(ai)(aj)

将避免在高维特征空间进行复制的运算，不同的核函数形成不同的算法。主要的

核函数有以下几类：

线性内核函数K(ai,aj)=(aiaj);

多项式核函数K(ai,aj)=(aiaj)1;

aa2ij径向基核函数K(ai,aj)=exp; 2𝑆型内核函数K(ai,aj)tanhv(aiaj)c;

1q2傅里叶核函数K(ai,aj) 2212qcos(aa)qk1ikjknq同样可以得到其Lagrange对偶问题如下：

l1llmaxyiyjijK(aiaj)i 2i1i1i1lyii0, s.t.i10,i1,2,,li若𝐾是正定核，则对偶问题是一个凸二次规划问题，必定有解。求解上述最优化

,,问题，得到最优解=，选择的一个正分量1lj,并以此计算 byjyiiK(ai,aj)

i1l构造分类函数

lf(x)sgnyiiK(ai,x)b

i1从而对未知样本进行分类。

优点：

SVM学习问题可以表示为凸优化问题，因此可以利用已知的有效算法发现目标函数的全局最小值。而其他分类方法（如基于规则的分类器和人工神经网络）都采用一种基于贪心学习的策略来搜索假设空间，这种方法一般只能获得局部最优解。

支持向量机结构示意图

𝑦 𝑘(𝑥1,𝑥) 𝑘(𝑥2,𝑥) ······ 𝑘(𝑥𝑑,𝑥) 𝑥1 𝑥2 ······ 𝑥·······𝑖 𝑥𝑑