周志华版《机器学习》第十一章 课后习题参考解答.pdfVIP

周志华《机器学习》第十一章课后习题

参考解答（1）

11.1编程实现Relief算法（西瓜数据集3.0）

1.算法核心原理（教材11.1节）

Relief是过滤式特征选择算法，适用于二分类任务，通过量化特征对同类样本相似度与异“”“

类样本差异度”的贡献评估特征重要性：

•1Hit1Miss

对每个样本，找到个最近同类样本（）和个最近异类样本（）；

•对每个特征，若其在“样本-Hit”间差异小、“样本-Miss”间差异大，则特征重要性高（权

重增加），反之则低（权重减少）；

•最终按特征权重排序，选择权重高的特征。

2.西瓜数据集3.0预处理

数据集3.0（表4.3）含17个样本，6个离散特征（色泽、根蒂、敲声、纹理、脐部、触

“1”8“0”9“

感），标签好瓜（个）、坏瓜（个）。需将离散特征有序编码（保留好瓜关

联度”语义，如“蜷缩”根蒂比“硬挺”更易对应好瓜）。

3.完整代码实现（Python）

importnumpyasnp

importpandasaspd

importmatplotlib.pyplotasplt

#1.加载并预处理西瓜数据集3.0

defload_watermelon30():

加载数据集并对离散特征进行有序编码

data[

[,,,,,,1],[,,,,,,1],

青绿蜷缩浊响清晰凹陷硬滑乌黑蜷缩沉闷清晰凹陷硬滑

[乌黑,蜷缩,浊响,清晰,凹陷,硬滑,1],[青绿,蜷缩,沉闷,清晰,凹陷,硬滑,1],

[浅白,蜷缩,浊响,清晰,凹陷,硬滑,1],[青绿,稍蜷,浊响,清晰,稍凹,软粘,1],

[乌黑,稍蜷,浊响,稍糊,稍凹,软粘,1],[乌黑,稍蜷,浊响,清晰,稍凹,硬滑,1],

[乌黑,稍蜷,沉闷,稍糊,稍凹,硬滑,0],[青绿,硬挺,清脆,清晰,平坦,软粘,0],

[浅白,硬挺,清脆,模糊,平坦,硬滑,0],[浅白,蜷缩,浊响,模糊,平坦,软粘,0],

[青绿,稍蜷,浊响,稍糊,凹陷,硬滑,0],[浅白,稍蜷,沉闷,稍糊,凹陷,硬滑,0],

[乌黑,稍蜷,浊响,清晰,稍凹,软粘,0],[浅白,蜷缩,浊响,模糊,平坦,硬滑,0],

[青绿,蜷缩,沉闷,稍糊,稍凹,硬滑,0]

]

columns[,,,,,,]

色泽根蒂敲声纹理脐部触感好瓜

dfpd.DataFrame(data,columnscolumns)

#离散特征有序编码（按好瓜倾向从低到高排序）“”

feature_maps{

色泽:{浅白:0,乌黑:1,青绿:2},#青绿更易是好瓜

根蒂:{硬挺:0,稍蜷:1,蜷缩:2},#蜷缩更易是好瓜

敲声:{清脆:0,沉闷:1,浊响:2},#浊响更易是好瓜

纹理:{模糊:0,稍糊:1,清晰:2},#清晰更易是好瓜

:{:0,:1,:2},#

脐部平坦稍凹凹陷凹陷更易是好瓜

触感:{软粘:0,硬滑:1}#硬滑更易是好瓜

}

forcolinfeature_maps:

df[col]df[col].map(feature_maps[col])

Xdf.iloc[:,:-1].values#特征矩阵（17×6）

ydf[].values#17×1

好瓜标签向量（）

feature_namesdf.columns[:-1].