第四部分 模式识别 信息论 教学课件.ppt

§4.1绪论 一、基本概念 1、模式（Pattern） 存在于时间、空间中可以观察的事物；或具有时间或空间分布的信息（存在于事物中）。 2、模式识别 通过对事物的观察对其某种性质的认识，把样本根据其特征归类。 —— 又称“模式分类” 基本概念 例如：字符识别、语音识别、医疗诊断、遥感图像等。 3、模式识别系统的基本组成 基本概念 4、解决模式识别问题的几类方法 ? 基于知识的方法(Knowledge-based) – AI、专家系统(Expert Systems) – 句法（结构）模式识别(Syntax PR or Structural PR) ? 基于数据的方法(Data-based) –统计模式识别方法（Statistical PR） – 人工神经网络(ANN)、支持向量机(SVM) ? 混合方法(Hybrid Methods) 基本概念 5、模式识别系统的评价 -错误率 -正确率、错误率（虚警/误判）、拒识率 §4.2 统计模式识别 §4.2.1统计模式识别的基本概念 1、概念和名词约定 样本sample：待研究对象的个体，包括性质已知或未知的个体； 类别class：将所研究的样本性质离散化为有限的类别，认为同一类的样本在该性质上是不可区分的； 已知样本known samples：类别情况已知的样本 统计模式识别的基本概念 未知样本unknown samples：类别情况未知的样本； 样本集sample set：若干样本的集合，分已知样本集和未知样本集； 特征features：样本的任何可区分的（且可观测的）方面； 特征向量feature vectors：样本的所有特征组成的n 维向量是样本在数学上的表达，因此也称作样本。 统计模式识别的基本概念 特征空间feature space：特征向量所在的n维空间，每一个样本（特征向量）是该空间中的一个点，一个类别是该空间中的一个区域。 统计模式识别的基本概念 分类器classifier:能够将每个样本都分到某个类别中去（或者拒绝）的计算机算法。 决策域Decision region:分类器将特征空间划分成的若干区域。 决策边界Decision boundary:不同类别区域之间的边界称作分类边界、决策边界或分类面、决策面。 统计模式识别的基本概念 一个简单的例子 2、一个简单的例子 硬币的分类：最简单的情况 两类：比如1角（ω1）和1分（ ω2 ） 首先考虑没有任何观测值的情况 分类器的设计：依据概率—— 先验概率(a prior probabilities) – 如果P(ω1) P(ω2)，则x∈ω1 – 如果P(ω1) P(ω2)，则x∈ω2 一个简单的例子 分类性能： – 错误率(error rate): 分类错误的概率= min{P(ω1), P(ω2)} 硬币的分类：略微复杂一些 两类：1角（ω1）和5角（ω2） 有一种观测特征x（比如重量） 分类器的设计：依据概率—— 后验概率 – 如果P(ω1|x) P(ω2|x)，则x∈ω1； – 如果P(ω1|x) P(ω2|x)，则x∈ω2。 一个简单的例子 如何计算后验概率？ – Bayes公式 风险Risk (of the decision) “把1角识别成5角” 和“把5角识别成1角” 的风险是不同的！ 一个简单的例子 如何设计分类器？ 3、如何设计分类器？ 如何设计分类器？ 两种学习方法： 监督学习（supervised learning） –给出若干已知答案的样本（训练样本training samples） –由机器从这些样本中进行学习（训练） –学习的目的在于从这些样本中总结规律，使之能够对新的样本进行判断—— 监督学习（监督模式识别） 如何设计分类器？ 如何设计分类器？ 非监督学习(Unsupervised Learning) 无指导情况下的学习、所面对的只有未知答案的样本、由机器从这些样本中进行学习（自学习）。 学习的目的在于从这些样本中发现规律，这种规律应该是某种固有的关系，或者依据这种规律对对象的分类有某种功用。—— 非监督学习（非监督模式识别） 如何设计分类器？ 特征的重要性 模式识别系统的基本组成 4、模式识别系统的基本组成 有已知样本情况：监督模式识别 模式识别系统的基本组成 处理监督模式识别问题的一般步骤： 1.分析问题：看是否属于模式识别问题，把研究的目标抽象为类别；分析问题中哪些(可以观测的)因素可能与分类有关； 2.原始特征获取：设计实验方法，得到已知样本，对这些样本实施观测和预处理，获取与样本分类有关的观测向量(原始特征)； 模式识别系统的基本组成 3.特征选择与提取：为了更好地进行分类，对特征进行必要