模式识别(钟珞)剖析.ppt

* 模式识别 * 1、离散有限K-L展开 设X是一个n维的随机向量，它可以用下式展开 * 模式识别 * 1、离散有限K-L展开 K-L展开式的主要性质 * 模式识别 * 1、离散有限K-L展开 K-L展开式的求解步骤 求随机向量X的自相关矩阵R=E(XXT) 求出R的特征值λj，和特征向量φj，得到矩阵Φ=（ φ1，φ2…..， φn ） 求出展开式的系数α= ΦTX * 模式识别 * 2、基于K-L变换的数据压缩 根据上面的展开式，提出新的问题：如果从n个特征向量中选取m个组成新的变换矩阵，mn，那么怎么选取m个特征向量可以在最小均方误差准则下效果最优？ 方法：选择m个最大的特征值对应的特征向量组成新的变换矩阵，可以让最小均方误差最小。因此，K-L变换又称为主成分分析。 * 模式识别 * 2、基于K-L变换的数据压缩 基于K-L展开式的特征抽取算法步骤如下 平移坐标系，将模式的总体均值向量作为新坐标系的原点 求随机向量X的自相关矩阵 求自相关矩阵的n个特征值及其对应的特征向量 将特征值从大到小排序，取前m个大的特征值所对应的特征向量构成新的变换矩阵 将n维向量变换为m维新向量 * 模式识别 * 例子 给出样本数据如下，请用K-L变换作一维数据压缩。 * 模式识别 * 例子 第一步：求样本总体均值向量 第二步：求自相关矩阵 * 模式识别 * 7.3.2 散布准则 极小化类内散布就能极大化类间散布，这两个量之间有着互补的关系。 为了更准确度量类内散布和类间散布，再引入两种度量矩阵的标量，矩阵的迹和矩阵的行列式。 * 模式识别 * 7.3.2 散布准则 迹准则：方阵的主对角线元素之和称为这个方阵的迹 行列式准则：矩阵的行列式也可以作为散布矩阵的一种标量度量。行列式度量了散布体积的平方。当类别数小于或等于特征向量的维数时，类间散布矩阵是奇异阵。 * 模式识别 * 7.3.3 模式与类核间距离的准则函数 上面两种方法都是用均值向量来表示一类的位置并代替该类，损失了各类在空间中的分布情况。 为了细致的表征一类，可以定义一个核函数来表示其模式分布结构。核函数可以是一个函数，一个属于同一类的模式集合或其它模型；还需要定义一个距离（即测度）以及由此构成的准则函数。 * 模式识别 * 7.4 分级聚类算法 按事物的相似性，或内在联系组织起来，组成有层次的结构，使得本质上最接近的划为一类，然后把相近的类再合并，依次类推，这就是分级聚类算法的基本思想。 分级聚类算法也叫做系统聚类法或层次聚类算法。是常用的聚类方法之一。 * 模式识别 * 7.4 分级聚类算法 分级聚类算法有两种基本思路 聚合法：把所有样本各自看为一类，逐级聚合成一类。基本思路是根据类间相似性大小逐级聚合，每级只把相似性最大的两类聚合成一类，最终把所有样本聚合为一类。 分解法：把所有样本看做一类，逐级分解为每个样本一类。 * 模式识别 * 7.4 分级聚类算法 聚合算法步骤如下，其中c是事先指定的聚类数，当c达到后，迭代停止；如果c=1，则得到整个分类树。 设c*=n，Di={xi}，i=1,2,…,n 若c*=c，则停止 找最近的两个类Di和Dj 将Di和Dj合并，删去Di， c*减1 转向步骤2 * 模式识别 * 7.4 分级聚类算法 聚合算法的步骤很简单，但是在第三步计算最相近的两个聚类时，不同的相似性度量方法，对类聚也会产生不同的效果。 近点距离 远点距离 平均距离 * 模式识别 * 7.4 分级聚类算法 近点距离算法：采用近点距离作为类间相似性度量的方法称为近点距离算法。计算两个类之间的距离就是计算它们最近样本间的距离。 远点距离算法：两个类之间的距离由这两个类中相距最远的点来确定。 平均距离：两类均值向量之间的距离。 * 模式识别 * 7.5 动态聚类法 动态聚类方法是一种普遍采用的聚类方法，主要具有以下3个要点 选定某种距离度量作为样本间的相似性度量 确定某个评价聚类结果质量的准则函数 给定某个初始分类，然后用迭代算法找出使准则函数取极值的最好聚类结果 * 模式识别 * 7.5 动态聚类法 初始聚类中心的选择方法 任取前c个样本点作为初始聚类中心 凭经验选择 将全部数据随机分为c类，计算其重心，将重心作为聚类中心 密度法选择代表点（具有统计特性） 从c-1类划分中产生c类划分问题的初始聚类中心 * 模式识别 * 7.5 动态聚类法 初始聚类中心确定后，有不同的分类方法来确定初始划分，包括如何修正聚类中心 对选定的中心按距离最近原则将样本划归到各聚类中心代表的类别，然后调整聚类中心（批量修正法） 取一样本，将其归入与其距离最近的那一类，并计算该类的样本均值，依此样本均值代替原来的聚类中心作为新的聚类中心，然后再取下一个样本，如此操作，直到所有样本都归属到相应的类别中为止