功告成模式识别.doc

模式识别作业报告 一、实验目的 用FAMALE.TXT和MALE.TXT的数据作为训练样本集，建立Bayes分类器，用测试样本数据对该分类器进行测试。调整特征、分类器等方面的一些因素，考察它们对分类器性能的影响，从而加深对所学内容的理解和感性认识。 二、基本要求 1) 应用单个特征进行实验：以身高或者体重数据作为特征，在正态分布假设下利用最大似然法或者贝叶斯估计法估计分布密度参数，建立最小错误率Bayes分类器，写出得到的决策规则，将该分类器应用到测试样本，考察测试错误情况。在分类器设计时可以考察采用不同先验概率（如0.5对0.5, 0.75对0.25, 0.9对0.1等）进行实验，考察对决策规则和错误率的影响。 2）应用两个特征进行实验：同时采用身高和体重数据作为特征，分别假设二者在正态分布假设下估计概率密度，建立最小错误率Bayes分类器，写出得到的决策规则，将该分类器应用到训练/测试样本，考察训练/测试错误情况。比较相关假设和不相关假设下结果的差异。在分类器设计时可以考察采用不同先验概率（如0.5vs0.5,0.75vs0.25,0.9vs0.1等）进行实验，决策考察对和错误率的影响。 3) 自行给出一个决策表，采用最小风险的Bayes决策重复上面的某个或全部实验。 三、实验步骤及前期准备 实验一：首先，以两个训练样本身高数据作为特征，利用最大似然法分别算出均值的最大似然估计和方差的最大似然估计，分别带入到假设模型一维正态分布中得出类条件概率密度，通过结合不同的先验概率计算出后验概率并对test1和test2进行基于最小错误率的Bayes决策，待测样本属于后验概率较大的一方。最后考察测试错误情况及对决策和错误率的影响。 实验二：采用身高和体重数据作为特征量，在协方差相等和不相等的条件下分别计算出它们的判别函数，将原模型以及test1和test2的样本特征分别带入两个判别函数中，比较其大小，待测样本的类别属于大者，然后考察测试错误情况及对决策和错误率的影响。 实验三原理：基于试验一，利用已有两个训练样本的后验概率，然后计算条件期望损失，比较二者大小，待测样本属于小者。 实验中所需要用到的知识： 正态分布的分布形式：，其中=，，。 最大似然法计算正态分布的参数：，。 3、bayes公式 ； 基于最小错误率的Bayes决策规则： 若，则x属于；反之则x属于。 4、先验概率：从以往的数据分析中得到的经验值；即根据大量统计确定某类事物出现的比例。 5、类条件概率密度函数：同一类事物的各个属性都有一定的变化范围，在这些变化范围内的分布概率用一种函数形式表示，则称为类条件概率密度函数。 6、后验概率：得到信息之后，对以往数据加以修正的概率（一般也是条件概率）；或一个具体事物属于某种类别的概率。 7、基于最小风险的Bayes决策：若条件风险则x属于；反之则x属于。 四、试验流程图 五、实验结果 （一）、最大似然估计 先验概率相等（输入0.5vs0.5） 最小错误率的Bayes决策规则：若，则x属于；反之则x属于； 在此条件下，带入测试样本test1与test2后得，分类的错误率error1=5.71%，error2=9%，error总=14.71%。 先验概率不相等 最小错误率的Bayes决策规则：若（女）（男），则x属于；反之则x属于； 当，带入测试样本test1与test2后得，分类的错误率error1=11.43%，error2=22.00%，error总=33.43%。 当，带入测试样本test1与test2后得，分类的错误率error1=8.57%，error2=6.67%，error总=15.24%。 当，带入测试样本test1与test2后得，分类的错误率error1=20%，error2=49%，error总=69%。 当，带入测试样本test1与test2后得，分类的错误率error1=11.43%，error2=5.67%，error总=17.1%。 当，带入测试样本test1与test2后得，分类的错误率error1=8.57%，error2=10.67%，error总=19.24%。 当，带入测试样本test1与test2后得，分类的错误率error1=5.71%，error2=6.67%，error总=12.38%。 表一 用最大似然估计建立的基于最小错误率的Bayes决策对test1和test2测试错误率情况 0.75|0.25 0.25|0.75 0.6|0.4 0.4|0.6 0.9|0.1 0.1|0.9 0.5|0.5 Error1 11.43% 8.57% 8.57% 5.71% 20% 11.43% 5.71% Error2 22.00% 6.67% 10.67% 6.67% 49%