模式识别第6章模式特征的选择与提取.pptxVIP

武汉大学电子信息学院IPL第六章模式特征的选择与提取模式识别与神经网络

PatternRecognitionand

NeuralNetwork

内容目录IPL第六章模式特征的选择与提取6.1引言6.2类别可分离性判据6.3特征提取与K-L变换6.4特征的选择6.5讨论模式识别与神经网络

6.1引言3第六章模式特征的选择与提取分析各种特征的有效性并选出最有代表性的特征是模式识别的关键一步降低特征维数在很多情况下是有效设计分类器的重要课题特征的选择与提取是模式识别中重要而困难的一个环节：物理和结构特征：易于为人的直觉感知，但有时难于定量描述，因而不易用于机器判别数学特征：易于用机器定量描述和判别，如基于统计的特征三大类特征：物理、结构和数学特征

特征的形成4第六章模式特征的选择与提取引言02实例：数字图象中的各像素灰度值人体的各种生理指标03原始特征分析：原始测量不能反映对象本质高维原始特征不利于分类器设计：计算量大，冗余，样本分布十分稀疏特征形成(acquisition)：信号获取或测量→原始测量原始特征01

特征的选择与提取5第六章模式特征的选择与提取两类提取有效信息、压缩特征空间的方法：特征提取和特征选择特征提取(extraction)：用映射（或变换）的方法把原始特征变换为较少的新特征特征选择(selection)：从原始特征中挑选出一些最有代表性，分类性能最好的特征特征的选择与提取与具体问题有很大关系，目前没有理论能给出对任何问题都有效的特征选择与提取方法引言

特征的选择与提取举例第六章模式特征的选择与提取6细胞自动识别：原始测量：（正常与异常）细胞的数字图像原始特征（特征的形成，找到一组代表细胞性质的特征）：细胞面积，胞核面积，形状系数，光密度，核内纹理，和浆比压缩特征：原始特征的维数仍很高，需压缩以便于分类特征选择：挑选最有分类信息的特征特征提取：数学变换傅立叶变换或小波变换用PCA方法作特征压缩引言

6.2类别可分离性判据第六章模式特征的选择与提取7类别可分离性判据：衡量不同特征及其组合对分类是否有效的定量准则理想准则：某组特征使分类器错误概率最小实际的类别可分离性判据应满足的条件：度量特性：与错误率有单调关系当特征独立时有可加性：单调性：常见类别可分离性判据：基于距离、概率分布、熵函数

基于距离的可分性判据8第六章模式特征的选择与提取01类间可分性:=所有样本间的平均距离：02可分性判据03(8-1)04squaredEuclidian05(8-5)06类内平均距离07类间距离08(8-6)09

基于距离的可分性判据矩阵形式9第六章模式特征的选择与提取01可分性判据02基于距离的准则概念直观，计算方便，但与错误率没有直接联系03样本类间

离散度矩阵04样本类内

离散度矩阵05类间可分离性判据06

基于概率的可分性判据10第六章模式特征的选择与提取01可分性判据02散度：基于概率的可分性判据：用概率密度函数间的距离来度量03

正态分布的散度1101第六章模式特征的选择与提取02可分性判据03Mahalanobis

基于熵函数的可分性判据12Shannon熵：熵函数期望表征类别的分离程度：熵函数：平方熵：可分性判据第六章模式特征的选择与提取

类别可分离性判据应用举例13第六章模式特征的选择与提取1图像分割：Otsu灰度图像阈值算法2(Otsuthresholding)3图像有L阶灰度，ni是灰度为i的像素数，图像总像素数N=n1+n2+…+nL灰度为i的像素概率：pi=ni/N类间方差：4可分性判据5

Otsuthresholding14第六章模式特征的选择与提取灰度图像阈值:可分性判据Otsu灰度图像二值化算法演示及程序分析:

6.3特征提取与K-L变换15第六章模式特征的选择与提取特征提取：用映射（或变换）的方法把原始特征变换为较少的新特征PCA(PrincipleComponentAnalysis)方法：

进行特征降维变换，不能完全地表示原有的对象，能量总会有损失。希望找到一种能量最为集中的的变换方法使损失最小K-L(Karhunen-Loeve)变换：最优正交线性变换，相应的特征提取方法被称为PCA方法0102

K-L变换16第六章模式特征的选择与提取01离散K-L变换：对向量x用确定的完备正交归一向量系uj展开02特征

提取03

离散K-L变换的均方误差17第六章模式特征的选择与提取用有限项估计x：特征

提取该估计的均方误差：01.02.03.04.

求解最小均方误差正交基18第六章模式特征的选择与提取1用Lagrange乘子法：2特征

提