第4章-模式识别基础-2.pdfVIP

Media and Cognition 清华大学电子工程系 王生进 彭良瑞 李亚利 杨毅 Email: liyali13@tsinghua.edu.cn 第四章模式识别基础 4.1 统计模式识别 4.2 贝叶斯决策 4.3 参数估计方法 4.4 非参数估计方法 4.1 统计模式识别(小结) 基本概念 错误率，精度 误差、经验误差、泛化误差  过拟合、欠拟合  混淆矩阵  召回率、准确率 ROC 曲线、AUC数值  测试方法：交叉验证 3 第四章模式识别基础 4.1 统计模式识别 4.2 贝叶斯决策 4.3 参数估计方法 4.4 非参数估计方法 4.2 贝叶斯决策(小结) 数学基础：贝叶斯定理、高斯分布 名词概念：  先验概率、后验概率、似然概率  贝叶斯决策：先验概率至后验概率的转化 正态分布下的贝叶斯决策  三种情况分析  欧式距离、马氏距离  线性判别函数、二次判别函数  拓展：MQDF 5 第四章模式识别基础 4.1 统计模式识别 4.2 贝叶斯决策 4.3 参数估计方法 4.4 非参数估计方法 4.3 参数估计方法  最大似然估计 n l   ln p D  ln p x        i  i 1 = arg max l      多元正态分布的最大似然估计  情况1：均值未知，协方差矩阵已知 ˆ ˆ 1 n   x 1 k n k 1  情况2 ：均值和协方差矩阵均未知 n ˆ ˆ 1 ˆ ˆ 1 n T   x ˆ ˆ 1  k  2 (xk )(xk ) n k 1 n k 1 7 4.3 参数估计方法  最大似然估计与无偏估计 1 n ˆ ˆ T 样本协方差矩阵 C  (xk )(xk ) Sample covariance n 1 k 1 matri