本文共 3730 字，大约阅读时间需要 12 分钟。

SVM

SVM hypothesis:

$$\min C\sum _{i=1}^m[y^{(i)}cos{t}_1({\theta }^T{x}^{(i)})+(1-y^{(i)})cos{t}_0({\theta }^T{x}^{(i)})]+\frac{1}{2}\sum _{i=1}^n{\theta }_j^2$$ $h_{\theta }(x)=\{\begin{array}{ll}1& \text{if }{\theta }^{T}x⩾0\\ 0& \text{otherwise}\end{array}$ 大间距分类器Large Margin Classifier/Intuition：当C很大时 SVM：当C不是很大时 margin：样本到决策边界的最大距离 margin使SVM具有鲁棒性 SVM使正负样本以最大margin分隔开来

大间隔分类器

$$\begin{gathered} \underset{\theta }{\min }\frac{1}{2}\sum _{j=1}^n{\theta }_j^2=\frac{1}{2}\Vert \theta {\Vert }^2 \\ s.t.{\theta }^T{x}^{(i)}\ge 1if{y}^{(i)}=1 \\ {\theta }^T{x}^{(i)}\le -1if{y}^{(i)}=0 \end{gathered}$$

Simplification：${\theta }_0=0，n=2$

带核函数的SVM

• 利用高斯核函数实现非线性的SVM。

Given $x^{(1)},y^{(1)},(x^{(2)},y^{(2)}),...,(x^{(m)},y^{(m)}),$

choose $l^{(1)}=x^{(1)},l^{(2)}=x^{(2)},...l^{(m)}=x^{(m)}.$ Given example $x$:

$f_1=similarity(x,l^{(1)})=\exp (-\frac{||x-l^{(1)}|{|}^2}{2{\sigma }^2})$

$f_2=similarity(x,l^{(2)})=\exp (-\frac{||x-l^{(2)}|{|}^2}{2{\sigma }^2})$

…

For training example $(x^{(i)},y^{(i)}):$

$f_1^{(i)}=sim(x^{(i)},l^{(1)})$

$f_2^{(i)}=sim(x^{(i)},l^{(2)})$

…

$f_2^{(i)}=sim(x^{(i)},l^{(m)})$

Hypothesis: Given $x$, compute features $f\in {\mathbb{R}}^{m+1}$

      Predict “$y=1$” if ${\theta }^{T}f\ge 0$ Training: $$\underset{\theta }{\min }C\sum _{i=1}^m{y}^{(i)}cos{t}_1({\theta }^T{f}^{(i)})+(1-y^{(i)})cos{t}_0({\theta }^T{f}^{(i)})+\frac{1}{2}\sum _{j=1}^m{\theta }_j^2$$ 注：

对于${\sum }_{j=1}^m{\theta }_j^2={\theta }^T\theta$，可以用${\theta }^{T}M\theta$来优化算法.

SVM的参数设置

C(=$\frac{1}{\lambda }$)

Large C $⟺$ small $\lambda ⟹$ 低偏差，高方差 $⟺$ overfit

Small C $⟺$ large $\lambda ⟹$ 高偏差，低方差 $⟺$ underfit

${\sigma }^2$

如果 $x\approx l^{(1)}$，$f_1\approx 1$；如果 $x$ is far from $l^{(1)}$，$f_1\approx 0$.

如上图所示，

1. $x$在$l^{(1)}$处对应的特征值最大，为1；离$l^{(1)}$越远，特征值越小，至0.
2. ${\sigma }^2$越小，等高线收缩，随距离变化速度越快；反之，${\sigma }^2$越大，等高线扩大，随距离变化速度越慢

Large ${\sigma }^2$ $⟺$ Feature $f_i$ vary more smoothly $⟺$ 模型随着$x$的输入变化缓慢 $⟺$ 高偏差，低方差 $⟺$ underfit

Small ${\sigma }^2$ $⟺$ Feature $f_i$ vary less smoothly $⟺$ 低偏差，高方差 $⟺$ overfit

结束语

用SVM software package (e.g. liblinear, libsum, …) 来求得参数 $\theta$

转载地址：http://pymzi.baihongyu.com/