第三章习题完整答案.docVIP

第三章 习题答案 一、设一3类问题有如下判决函数d1(x) = - x1d2(x) = x1 + x2 -1d3(x) = x1 - x2 -1试画出下列各种情况的判决边界及各类的区域：（1）满足3.4.2节中的第一种情况；（2）满足3.4.2节中的第二种情况, 且令 d12(x) = d1(x)，d13(x) = d2(x)，d23(x) = d3(x)；（3）满足3.4.2节中的第三种情况。 解： 1、两分法 2、Wi/Wj 两分法 3、没有不确定区的Wi/Wj两分法 二、证明感知器的收敛性。 证明： 如果模式是线性可分的，则存在判别函数的最佳权向量解，利用梯度下降法求解函数的极小值点，即为。 构造准则函数　　（k0） 当０时， 当时，， ∵训练模式已符号规范化，∴寻求的最小值，且满足。 令k=1/2,求得准则函数的梯度 由梯度下降法，增广权矢量的修正迭代公式为： 取＝１，则上述准则下的梯度下降法的迭代公式与感知器训练算法是一致的。 ∵梯度下降法是收敛到极小值点的，∴感知器算法也是收敛的。 三、习题3.4 证明： MSE解为 其中： 则对应的 化简　 由上式可得： 由（1）式可得： 代入（2）式得： ∵为标量 ∴ 为一标量 ∴ ∵、设为行向量，如果设为列向量 则　　　 而Fisher最佳判别矢量为 不考虑标量因子的影响，和完全一致 ∴当余量矢量时 MSE解等价于Fisher解。 四、 解： 设、在判别界面中 －（2）得 ∵在判别界面中 ∴平面 则平面的单位法矢量为 设点P在判别界面d()=0中，则 ∵ ∴ 当和方向相同时，即为点到平面的距离时 五、以下列两类模式为样本，用感知器算法求其判决函数。（令 w(1) = (-1,-2,-2)T）(1：{(0,0,0)’, (1,0,0)’, (1,0,1)’, (1,1,0)’,}(2：{(0,0,1)’, (0,1,1)’, (0,1,0)’, (1,1,1)’,} 解 （1）将训练样本分量增广化及符号规范化，将训练样本增加一个分量1,且把来自类的训练样本的各分量乘以－1,则得到训练模式集： （2）运用感知器算法，任意给增广权矢量赋初值，取增量，迭代步数k=1，则有 (3)由上面的结果可以看出，经过迭代能对所有训练样本正确分类 ∴＝ 判别界面方程为 3x1-2x2-3x3+1=0 六、用MSE(梯度法)算法检验下列模式的线性可分性。(1：{(0,1)’，(0,-1)’ }，(2：{(1,0)’，(-1,0)’ }。 解： 将训练样本增广及规范化后，得到 则 利用伪逆法 利用H-K算法， 设置步数k=0 则 的各分量均为负值，则停止迭代 ∴无法求得方程组的解，所以模式线性不可分。 七、已知(1：{(0,0)’},(2：{(1,1)’},(3：{(-1,1)’}。用感知器算法求该三类问题的判别函数，并画出解区域。 解： d(x)=9x2+7y2+5＝０ 设y1=x2,y2=x 则广义线性判别函数为 它对应的正负空间如下图：