概率密度函数的估计.pptVIP

概率密度函数的估计*第1页，共24页，星期日，2025年，2月5日概率密度函数的估计在上一章贝叶斯决策理论中，已经讲述了设计贝叶斯分类器的方法，即在先验概率P(wj)和类条件概率密度p(x|ωi)已知的情况下，按一定的决策规则确定判别函数和决策面。但在实际问题中，类条件概率密度常常是未知的。利用样本集设计分类器：第一步，利用样本集估计P(wj)和p(x|ωi)，分别记为P(wj)和p(x|ωi)。第二步，再将估计量带入上一章所讲贝叶斯决策规则中，完成分类器设计。这一过程称为基于样本的两步贝叶斯决策。1^^第2页，共24页，星期日，2025年，2月5日概率密度函数的估计监督参数估计非监督参数估计非参数估计2第3页，共24页，星期日，2025年，2月5日参数估计：概率密度函数的形式已知，而表征函数的参数未知，通过训练数据来估计。最大似然估计Bayes估计非参数估计：总体概率密度函数的形式未知，样本所属类别已知，利用训练数据直接对概率密度进行推断。Parzen窗法kn-近邻法3第4页，共24页，星期日，2025年，2月5日最大似然估计样本集可按类别分开，不同类别的密度函数的参数分别用各类的样本集来训练（独立）。类条件概率密度函数的形式已知，参数未知，为了描述概率密度函数p(x|ωi)与参数θ的依赖关系，用p(x|ωi,θ)表示。估计的参数θ是确定（非随机）而未知的量。1第5页，共24页，星期日，2025年，2月5日最大似然估计1似然函数：对数似然函数：第6页，共24页，星期日，2025年，2月5日1最大似然估计量使似然函数梯度为0：第7页，共24页，星期日，2025年，2月5日一元正态分布1第8页，共24页，星期日，2025年，2月5日1第9页，共24页，星期日，2025年，2月5日解得：

1μ^^σ2第10页，共24页，星期日，2025年，2月5日多元正态分布参数最大似然估计1均值向量形式同一元正太分布协方差矩阵的最大似然估计为：第11页，共24页，星期日，2025年，2月5日贝叶斯决策与贝叶斯估计对比

1决策问题:

样本x

决策ai

真实状态wj

状态空间A是离散空间

先验概率P(wj)参数估计问题：

样本集K

估计量s

真实参数s

参数空间S是连续空间

参数的先验分布p(s)^第12页，共24页，星期日，2025年，2月5日贝叶斯（最小风险）估计1参数估计的条件风险：给定x条件下，估计量的期望损失参数估计的风险：估计量的条件风险的期望第13页，共24页，星期日，2025年，2月5日贝叶斯估计步骤1确定θ的先验分布p(θ)由样本集K={x1,x2,…,xN}求出样本联合分布利用贝叶斯公式，求出θ的后验分布p(θ|K)求出贝叶斯估计量（损失函数为二次函数）：θ^第14页，共24页，星期日，2025年，2月5日非参数估计1参数估计方法要求已知总体的分布形式，然而很多实际问题并不知道总体分布形式，或总体分布不是一些通常遇到的典型分布，不能写成某些参数的函数。在这些情况下，为了设计贝叶斯分类器，仍然需要总体分布的知识，于是提出了某些直接用样本来估计总体分布的方法，称之为估计分布的非参数法。两种主要非参数估计方法：Parzen窗法kN-近邻法第15页，共24页，星期日，2025年，2月5日1估计的目的：从样本集K={x1,x2,…,xN}估计样本空间中任何一点的概率密度p(x)基本方法：用某种函数表示某一样本对待估计的密度函数的贡献，所有样本所作贡献的线性组合视作对某点概率密度p(x)的估计基本方法第16页，共24页，星期日，2025年，2月5日1基本思想第17页，共24页，星期日，2025年，2月5日