Mengzelev's Blog

SVM的临时抱佛脚for HK

Word count: 288 / Reading time: 1 min
2019/02/12 Share

参考资料

B站 机器学习(Machine Learning)- 吴恩达(Andrew Ng)

关于调参

使用SVM需要指定的参数

  • 参数$C$
    • $C$较大:小偏差,大方差
    • $C$较小:大偏差,小方差
  • 核函数(kernel)的选择
    • 线性核函数(Linear Kernel/No Kernel)
    • 高斯核函数(Gaussian Kernel)
    • 以上是两个最常用的核函数
    • 多项式核函数
    • 字符串核函数
    • 卡方核函数
    • ….

$n=$number of features, $m=$number of training examples

  • If $n$ is large(relative to $m$),e.g.$n\ge m$, use logistic regression or SVM without a kernel
  • If $n$ is small, $m$ is intermediate, use SVM with Gaussian kernel
  • If $n$ is is small, $m$ is large, create/add more features, then use logistic regression or SVM without a kernel

线性核函数

特征数较多,样本数较少时选择

高斯核函数

$$f_i=exp(-\frac{\Vert{x-l^{(i)}}^2}{2\sigma^2}),\text{where} l^{(i)}=x^{(i)}$$

选择高斯核的情况:特征数较少,样本较多

$\sigma$的选取:

  • 大$\sigma$: high bias, low variance
  • 小$\sigma$: low bias, high variance

Note:在使用高斯核之前记得特征归一化(feature scaling)

多项式核函数

$$(x^Tl + C)^d$$

  • 当$x$和$l$都是严格的非负数时才会使用
  • 用得不多
CATALOG
  1. 1. 参考资料
  2. 2. 关于调参
    1. 2.1. 线性核函数
    2. 2.2. 高斯核函数
    3. 2.3. 多项式核函数