层次聚类算法的改进-信号与信息处理专业论文.docxVIP

万方数据 万方数据 分类号： 密级： U D C ： 编号： 工学硕士学位论文 层次聚类算法的改进 硕士研究生 ：孙 海 指 导 教 师 ：卢志茂 教授 学 位 级 别 ：工学硕士 学科、专业 ：信号与信息处理 所 在 单 位 ：信息与通信工程学院 论文提交日期 ：2014 年 1 月 13 日 论文答辩日期 ：2014 年 3 月 10 日 学位授予单位 ：哈尔滨工程大学 Classified Index: U.D.C: A Dissertation for the Degree of M.Eng The Improvement of the Hierarchical Clustering Algorithm Candidate: Sun Hai Supervisor: Prof. Lu Zhimao Academic Degree Applied for: Master of Engineering Specialty: Signal and Information Processing Date of Submission: Jan. 11, 2014 Date of Oral Examination: Mar. 10, 2014 University: Harbin Engineering University 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由作者本人独立完成的。 有关观点、方法、数据和文献的引用已在文中指出，并与参考文献相对应。除文中已注 明引用的内容外，本论文不包含任何其他个人或集体已经公开发表的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声 明的法律结果由本人承担。 作者（签字）： 日期： 年 月 日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校攻读学位期间论文工作 的知识产权属于哈尔滨工程大学。哈尔滨工程大学有权保留并向国家有关部门或机构送 交论文的复印件。本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据库进 行检索，可采用影印、缩印或扫描等复制手段保存和汇编本学位论文，可以公布论文的 全部内容。同时本人保证毕业后结合学位论文研究课题再撰写的论文一律注明作者第一 署名单位为哈尔滨工程大学。涉密学位论文待解密后适用本声明。 本论文（□在授予学位后即可 □在授予学位12个月后 □解密后）由哈尔滨工程大 学送交有关部门进行保存、汇编等。 作者（签字）： 导师（签字）： 日期： 年 月 日 年 月 日 层次聚类算法的改进 摘 要 聚类分析作为数据挖掘领域的一个重要技术，被广泛的应用于医疗诊断、图像处理、 信息检索、数据压缩和机器视觉等多个领域，其发展前景越来越受人们的关注。近年来 随着信息化时代的到来，人们所接触到收集到的数据量越来越大，信息中所隐藏的信息 也越来越复杂，人们迫切希望找到一种简单高效的聚类算法来对数据进行提取分析，因 此对于聚类分析算法的研究具有重要的实际意义。 在目前的各类聚类算法中，层次聚类以其简单的逻辑原理以及准确的聚类结果，得 到了人们的广泛应用。但是该算法对数据中的孤立点较为敏感，不能很好的处理含有孤 立点的数据集，此外该算法由于需要重复的进行相似度计算，从而导致了较高的时间复 杂度和空间复杂度，使其不适用于大规模数据处理。本文主要针对层次聚类算法的以上 不足，进行了如下两个方面的研究： （1）针对层次聚类算法对孤立点敏感的不足，提出一种基于能量场的改进算法 EFHC（Energy Field Hierarchical Clustering），该算法将引力场的概念引入到孤立点的 检测中，将数据中的每个点看成引力场中具有一定能量值的能量点，根据数据点与孤立 点场能的不同，识别出场能较低的孤立点，并将其去除，该算法可以有效的去除数据集 中的孤立点，提高聚类的精确性。 （2）针对层次聚类算法计算复杂度过高的不足，提出一种新的基于数据切分的改 进算法 DHC（Divide Hierarchical Clustering），将大规模数据分块切分为小规模数据， 然后对小数据块逐一进行聚类处理，得到每块数据中的代表信息，并在之后对其进行整 合处理，进而将原有大数据进行聚类，通过在 UCI 数据集和机器合成数据集上的实验验 证，该算法与原有算法相比大大的降低了时间复杂度，并且使聚类质量也得到了相应的 提高。 关键词：聚类分析；层次聚类；数据切分；场能量；孤立点 哈尔滨工程大学硕士学位论文 层次聚类算法的改进 ABSTRACT Cluster analysis as an important field of data mining techn