周志华版《机器学习》第五章 课后习题参考解答.pdfVIP

周志华版《机器学习》第五章课后习题

参考解答

5.1线性函数f(x)\boldsymbol{w}^T\boldsymbol{x}作为神经元

激活函数的缺陷

核心结论：线性激活函数无法引入非线性，导致多层神经网络退化为单层

线性模型

具体缺陷分析：

1.丧失非线性表达能力

激活函数的核心作用是为神经网络引入非线性映射，使模型能拟合复杂数据（如异或、图像特

征）。若使用线性激活函数，无论神经网络有多少层，最终输出仍是输入特征的线性组合：

设多层网络中，第1层输出为z_1\boldsymbol{w}_1^T\boldsymbol{x}，第2层输出为z_2

\boldsymbol{w}_2^Tz_1\boldsymbol{w}_2^T(\boldsymbol{w}_1^T\boldsymbol{x})

(\boldsymbol{w}_1\boldsymbol{w}_2)^T\boldsymbol{x}，本质与单层线性模型z

\boldsymbol{w}_{\text{总}}^T\boldsymbol{x}一致，无法处理非线性关联数据（如纹理清“

晰且脐部凹陷”才是好瓜的逻辑）。

2.梯度传递无适应性

f(x)\boldsymbol{w}BP

线性函数的导数为常数（如），在算法反向传播时，梯度不会随输

入或激活值调整：

◦若梯度绝对值过小，参数更新缓慢，收敛极慢；

◦若梯度绝对值过大，易导致参数震荡，难以收敛到最优解；

SigmoidReLU

而非线性激活函数（如、）的导数随输入变化，能自适应调整梯度传递强度。

1.模型泛化能力局限

线性模型仅能拟合线性可分数据，对现实中多数非线性问题（如手写数字识别、语音分类）完

全失效，而神经网络的多层结构设计初衷就是通过非线性激活函数突破这一局限。

5.2图5.2(b)激活函数的神经元与对率回归的联系

前提：图5.2(b)为Sigmoid激活函数（教材默认），形式为\sigma(z)

\frac{1}{1+e^{-z}}

核心联系：单输出神经元（无隐层）+Sigmoid激活函数≡对率回归模型

具体推导与对应关系：

组件单输出神经元（无隐层）对率回归模型

输入处理输入特征的线性组合：z对数几率的线性组合：\ln

\boldsymbol{w}^T\frac{y}{1-y}

\boldsymbol{x}+b（b为\boldsymbol{w}^T

偏置）\boldsymbol{x}+b

输出映射激活函数输出：\hat{y}预测概率：\hat{y}

\sigma(z)P(y1|\boldsymbol{x})

\frac{1}{1+e^{-\frac{1}{1+e^{-

(\boldsymbol{w}^T(\boldsymbol{w}^T

\boldsymbol{x}+b)}}\boldsymbol{x}+b)}}

损失函数二分类交叉熵损失：L-对数似然损失（等价于交

\sum_{i1}^m[y_i\ln叉熵）：L

\hat{y}_i+(1-y_i)\ln(1-\sum_{i1}^m[-y_i

\hat{y}_i)](\boldsymbol{w}^T