模式识别聚类分析.pptVIP

聚类准则类内距离准则设待分类的模式集合{x1,x2,…,xN}，在某种相似性测度的基础上被划分为c类{ci(j);j=1,2,3,…,c;i=1,2,…,nj}。 显然，类内聚类准则函数JW定义为： 显然，JW越小越好。 （误差平方和准则）特点：取决于类心的选取； 同类样本分布密集，各类分布区域体积相差不大。*济南大学模式识别与智能系统研究所(R)*类的定义、类间距离和聚类准则第28页，共56页，星期日，2025年，2月5日聚类准则类间距离准则 其中mj是类的模式平均矢量，m为总的模式平均矢量；nj是?j类所含模式个数，N是所有模式的个数。加权的类间距离准则：*济南大学模式识别与智能系统研究所(R)*类的定义、类间距离和聚类准则拓展思维：两类情况下结果如何？与JWB关系如何？第29页，共56页，星期日，2025年，2月5日聚类准则类内、类间距离准则希望聚类结果：类内距离越小越好，类间距离越大越好。设待分类模式集{xi;i=1,2,…,N}。分成c类，?j类含nj个模式。分类后各模式是{xi(j);j=1,2,…,c;i=1,2,…,nj}?j类内离差阵和总的类内离差阵分别如下：类间离差阵：总的离差阵：SW,SB和ST之间的关系： ST=SW+SB*济南大学模式识别与智能系统研究所(R)*类的定义、类间距离和聚类准则CanYouProveit?第30页，共56页，星期日，2025年，2月5日*济南大学模式识别与智能系统研究所(R)*类的定义、类间距离和聚类准则聚类准则类内、类间距离准则聚类的基本目标：Tr[SB]?max；Tr[SW]?min定义如下聚类准则： J1=Tr[SW-1SB] J2=|SW-1SB| J3=Tr[SW-1ST] J4=|SW-1ST|思考：这些准则应该越大越好，还是越小越好？第31页，共56页，星期日，2025年，2月5日类的定义、类间距离和聚类准则聚类准则基于模式与类核距离的准则函数前面是以一个点（类心）表示一类的位置并代替类核；缺点是：严重损失了各类在特征空间中所占子空间（类域）的形状和各类中各个模式在类域中的分布情况。引入类核：Kj=K(x,Vj)，表示?j类的模式分布结构。其中Vj是?j的一个参数集，x是特征空间中一点。还应该引入一个模式x与核Kj的距离以及准则函数；模式x与核Kj的距离依赖于Kj的构造。 d(x,Kl)=minj[d(x,Kj)]?x??l。准则函数（显然，JK?min）：*济南大学模式识别与智能系统研究所(R)*第32页，共56页，星期日，2025年，2月5日*济南大学模式识别与智能系统研究所(R)*目录复习说明模式相似性测度类的定义、类间距离和聚类准则聚类算法总结和作业第33页，共56页，星期日，2025年，2月5日聚类算法概述聚类算法有许多具体算法。从算法算法的基本策略看，可以分为三类：根据相似性阈值和最小距离原则的简单聚类方法。 首先需要确定各聚类中心。按照最小距离原则不断将两类进行合并。各个模式首先自成一类，然后将距离最小的两类合并成一类。此过程不断重复，直至满足条件。该算法类心不断修正，但模式类别一旦指定就不再改变。依据准则函数的动态聚类法是一个准则函数取极值的优化过程。类心不断修正，各模式类别有不断改变。例如C-均值、ISODATA法、近邻函数法等*济南大学模式识别与智能系统研究所(R)*第34页，共56页，星期日，2025年，2月5日聚类算法相似性阈值和最小距离准则的简单聚类法（1）基本思想：计算各个特征矢量到聚类中心的距离并和阈值（门限）T进行比较，决定归属哪一类或作为新的一个类心。常用欧氏距离。算法原理：(1)取任意一个模式特征向量作为第一个聚类中心。例如，令?1类的中心z1=x1。(2)计算下一个模式特征矢量x2到z1的距离d21。如果d21T，则建立新的一类?2，其中心z2=x2；若d21?T，则x2??1。*济南大学模式识别与智能系统研究所(R)*第35页，共56页，星期日，2025年，2月5日聚类算法相似性阈值和最小距离准则的简单聚类法（2）(3)假如已有聚类中心z1,z2,…,zk,计算尚未确定类别的模式特征矢量xi到各类别中心zj(j=1,2,…,k)的距离dij。若dijT（j=1,2,…,k），则xi作为新的一类?k+1的中心，zk+1=xi；否则，如果dl=m