第7章-聚类分析.pptVIP

模式识别，第七章 * 基于准则函数的聚类方法 同理， 则减小到 模式识别，第七章 * 基于准则函数的聚类方法 若减小的大于增加的，即 则这次搬动改进了准则函数。 模式识别，第七章 * 其它聚类方法 模糊聚类方法 基于遗传算法的模糊聚类方法 支持向量聚类方法 基于网格的聚类方法 基于密度的方法 神经网络方法 模式识别，第七章 * 基于阈值准则的聚类方法 合并聚类法 定义样本间的距离： 欧氏距离 定义类与类之间的距离： 近点距离（最短距离） 远点距离（最长距离） 均值距离 马氏距离 模式识别，第七章 * 基于阈值准则的聚类方法 近点距离 模式识别，第七章 * 基于阈值准则的聚类方法 远点距离 模式识别，第七章 * 基于阈值准则的聚类方法 均值距离 模式识别，第七章 * 基于阈值准则的聚类方法 合并聚类法 首先假设每个样本自成一类，并计算各类之间的距离。然后将具有最近距离的两类样本合并成一类 重复上述过程，直至合并的类别数等于给定的数目，或各类别间的距离大于某规定的距离阈值为止 模式识别，第七章 * 基于阈值准则的聚类方法 合并聚类法 模式识别，第七章 * 基于阈值准则的聚类方法 合并聚类法-聚为3类 基于阈值准则的聚类方法 合并聚类法-聚为2类 模式识别，第七章 * 基于阈值准则的聚类方法 C-均值算法（动态聚类法） 指定群数C，选取C个代表点作为群的聚类中心。（可选各类的均值位置为聚类中心） 遍历所有的样本，将每个样本归入与之最近的聚类中心所的代表的群 重新计算C个群的中心，将其作为各群新的聚类中心，重复第2步，直至分类结果（聚类中心）不变 模式识别，第七章 * 基于阈值准则的聚类方法 C-均值算法 模式识别，第七章 * 基于阈值准则的聚类方法 C-均值算法的局限性 最终的聚类结果依赖于初始类中心的选择 需要事先指定聚类的类别数 模式识别，第七章 * 基于阈值准则的聚类方法 例：已知有20个样本，每个样本有2个特征，现用C－均值算法实现样本分类（C=2）。 模式识别，第七章 * 样本序号 x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 特征x1 0 1 0 1 2 1 2 3 6 7 特征x2 0 0 1 1 1 2 2 2 6 6 x11 x12 x13 x14 x15 x16 x17 x18 x19 x20 8 6 7 8 9 7 8 9 8 9 6 7 7 7 7 8 8 8 9 9 基于阈值准则的聚类方法 模式识别，第七章 * 模式识别，第七章 * 基于阈值准则的聚类方法 第一步：令C=2，选初始聚类中心为 模式识别，第七章 * 基于阈值准则的聚类方法 模式识别，第七章 * 模式识别，第七章 * 模式识别，第七章 * 模式识别，第七章 * 模式识别，第七章 * 模式识别，第七章 * 模式识别，第七章 * 基于阈值准则的聚类方法 问题：如何确定聚类群数，初始聚类重心？ 改进的C-均值算法 ① 首先计算各样本的密度，并将样本按密度顺序排列 ② 给定距离阈值T，挑选出可能的样本作为初始聚类中心 应用：1、语音识别 2、图像分类 模式识别，第七章 * 基于阈值准则的聚类方法 改进的C-均值算法 模式识别，第七章 * 基于阈值准则的聚类方法 理论上可以证明，不论初始类中心如何选择，动态聚类算法总是可以收敛的。 模式识别，第七章 * 基于准则函数的聚类方法 误差平方和准则 定义误差平方和准则函数为： 其中C为类别数， 为第i类样本， 为第i类样本的均值向量,即： 模式识别，第七章 * 基于准则函数的聚类方法 为第i类样本总数 表示样本聚为C个类别（群）后，所有样本到各类中心之间误差的平方和。 当 最小时，即是希望的聚类结果。 模式识别，第七章 * 基于准则函数的聚类方法 上述准则函数的值，只有在知道聚类群数，及各样本属于那一群后，才能计算 欲求极小值，用穷举法是行不通的 通常是应用迭代的方法来实现 模式识别，第七章 * 基于准则函数的聚类方法 基本思想： 根据一定的先验知识确定聚类的群数，并粗略找到一个初始划分结果，再由迭代算法得到最优聚类结果。 模式识别，第七章 * 基于准则函数的聚类方法 原理： 采用误差平方和准则函数 模式识别，第七章 * 基于准则函数的聚类方法 现假定在初始划分后，将 中的样本 搬到 中去 则 变为： 模式识别，第七章 * 基于准则函数的聚类方法 则 增加到 模式识别，第七章 模式识别Pattern Classificat