ML-Support_Vector_Machine_Note

超平面的划分:在样本空间中,划分超平面可通过wx+b=0,其中w=(w1;w2…;wd)为法向量,决定了超平面的方向;b为位移项,决定了超平面与原点之间的距离。

样本空间中的点到超平面的距离:记划分超平面的法向量为w和位移为b,则样本空间中的任意点到超平面的距离可写为𝜸=(|wx+b|)/(||w||)

支持向量:距离超平面最近的几个训练样本点使wx+b>=+1 yi=+1, wx+b>=-1 yi=-1(即假设超平面(w,b)能将训练样本正确分类,对(xi,yi)D,若yi=+1,则有wx+b>0;若yi=-1,则有wx+b<0)的等号成立,则它们被称为“支持向量”,两个异类支持向量到超平面的距离之和为𝜸=2/||w||,则𝜸称为间隔

支持向量机基本型:为了找到“最大间隔”的划分超平面,也就是找到参数w和b,使得𝜸最大,即max 2/||w|| s.t. yi(wx+b)>=1, i=1,2…,m。最大化间隔仅需最大化||w||¹,等于最小化||w||²,则可重写为min (1/2)||w||² s.t. yi(wx+b)>=1, i=1,2…,m,这就是支持向量机的基本模型。

对偶问题:在对偶问题需满足KKT(Karush-Kuhn-Tucker)条件

支持向量机的一个重要性质在训练完成后,大部分的训练样本都不需要保留,最终模型仅与最终向量有关。

SMO(Sequential Minimal Optimization)对于对偶问题,可以使用通用的二次规划算法来求解;然而,该问题的规模正比于训练样本数,这会造成很大的开销。SMO算法可以避开这个问题。

SMO算法的思路先固定ai之外的所有参数,然后求ai上的极值。由于存在约束∑(aiyi)=0,若固定ai之外的其他变量,则ai可由其他变量导出。于是,SMO每次选择两个变量ai和aj,并固定其他参数。这样,在参数初始化后,SMO不断执行如下两个步骤直至收敛:1.选取一堆需更新的变量ai和aj2.固定ai和aj以外的参数,求解(maxᵢai-(1/2)𝘫(aiajyiyjxixj),其中i=1,2,…m, j=1,2…,ms.t ᵢaiyi = 0, ai>=0, i=1,2,…m)获得更新后的ai和aj

核函数:核函数可以解决非线形可分问题。

硬间隔:所有样本必须划分正确

软间隔:允许某些样本不满足划分规则。软间隔支持向量机。

支持向量回归(Support Vector Regression, SVR)构建一个宽度为2e的间隔带,若训练样本落入次间隔带,则认为是被预测正确的。

核方法:基于核函数的学习方法。通过核化将线性学习拓展为非线形学习。

发表评论

电子邮件地址不会被公开。 必填项已用*标注