周志华版《机器学习》第六章 课后习题参考解答.pdfVIP

周志华版《机器学习》第六章课后习题

参考解答

6.1样本点到超平面距离公式（6.2）的证明

核心思路：基于向量投影原理，超平面的法向量决定距离方向，通过点积

计算投影长度（即距离）。

详细证明过程：

1.超平面与向量定义

设超平面方程为\boldsymbol{w}^T\boldsymbol{x}+b0，其中：

◦\boldsymbol{w}\in\mathbb{R}^d为超平面的法向量（垂直于超平面）；

◦b\in\mathbb{R}为偏置项；

◦任意样本点\boldsymbol{x}_0\in\mathbb{R}^d，需计算其到超平面的距离d。

1.找到投影点

设\boldsymbol{x}_0在超平面上的投影点为\boldsymbol{x}_p，则向量\boldsymbol{x}_0-

\boldsymbol{x}_p与法向量\boldsymbol{w}平行（投影方向沿法向量），即：

\boldsymbol{x}_0-\boldsymbol{x}_pt\cdot\frac{\boldsymbol{w}}{\|\boldsymbol{w}\|}

其中为投影长度的绝对值（待求），t\frac{\boldsymbol{w}}{\|\boldsymbol{w}\|}是单位法向量

1

（长度为）。

1.利用超平面方程约束

因\boldsymbol{x}_p在超平面上，满足\boldsymbol{w}^T\boldsymbol{x}_p+b0，即

\boldsymbol{w}^T\boldsymbol{x}_p-b。

对投影向量等式两边同时左乘\boldsymbol{w}^T：

\boldsymbol{w}^T(\boldsymbol{x}_0-\boldsymbol{x}_p)t\cdot\frac{\boldsymbol{w}^T

\boldsymbol{w}}{\|\boldsymbol{w}\|}

右侧化简：\frac{\boldsymbol{w}^T\boldsymbol{w}}{\|\boldsymbol{w}\|}

\frac{\|\boldsymbol{w}\|^2}{\|\boldsymbol{w}\|}\|\boldsymbol{w}\|；

左侧展开：\boldsymbol{w}^T\boldsymbol{x}_0-\boldsymbol{w}^T\boldsymbol{x}_p

\boldsymbol{w}^T\boldsymbol{x}_0+b（代入\boldsymbol{w}^T\boldsymbol{x}_p-b）。

1.求解距离

联立得：\boldsymbol{w}^T\boldsymbol{x}_0+bt\cdot\|\boldsymbol{w}\|，因此t

\frac{|\boldsymbol{w}^T\boldsymbol{x}_0+b|}{\|\boldsymbol{w}\|}（取绝对值保证距离非

负）。

由于t即\boldsymbol{x}_0到超平面的距离，故：

d\frac{|\boldsymbol{w}^T\boldsymbol{x}_0+b|}{\|\boldsymbol{w}\|}

此即教材式(6.2)，证明完毕。

6.2基于LIBSVM的西瓜数据集3.0α实验（线性核vs高斯核）

实验背景：西瓜数据集3.0α（表4.5）含17个样本，6个离散特征（色

泽、根蒂等），标签好瓜坏瓜，需对比线性核与高斯核

“1/-1”SVM

的支持向量差异。

一、实验步骤

1.数据预处理

◦特征编码：离散特征采用独热编码（避免有序偏差），编码后特征维度为

3+3+3+3+3+217维；

◦LIBSVM“1:12:2...”11:1

数据格式转换：要求格式为标签特征值特征值，示例：

2:03:0...（好瓜样本的色泽独热编码）；