间隔最大化

SVM 寻找把两类分得“最开”的超平面，使间隔 $2/|\mathbf w|$ 最大，即
$\min_{\mathbf w,b}\ \tfrac12|\mathbf w|^2\quad\text{s.t.}\ y_i(\mathbf w^\top\mathbf x_i+b)\ge1$

对偶与支持向量

用拉格朗日对偶转化为只含内积的问题：
$\max_{\alpha}\ \sum_i\alpha_i-\tfrac12\sum_{i,j}\alpha_i\alpha_j y_iy_j,\mathbf x_i^\top\mathbf x_j,\quad \alpha_i\ge0$
KKT 互补松弛表明只有边界上的样本 $\alpha_i>0$，即支持向量，决定了超平面。

核技巧

把内积 $\mathbf x_i^\top\mathbf x_j$ 换成核函数 $K(\mathbf x_i,\mathbf x_j)$，等价于在高维空间线性可分而无需显式映射（Mercer 定理保证有效）。常见核：线性、多项式、高斯核 (RBF) $K=e^{-\gamma|\mathbf x_i-\mathbf x_j|^2}$。软间隔用参数 $C$ 容忍噪声。

例题

例　异或数据线性不可分，但用 RBF 核映射到高维后可分——核技巧让“直线”在原空间表现为曲线边界。

应用

SVM 在中小样本、高维（文本分类、生物信息）上表现稳健且有坚实理论；核方法的思想延伸到高斯过程与核回归。对偶与 KKT 是理解约束优化在 ML 中落地的范例。