计算机软件与理论论文决策树 神经网络 集成学习 选择性集成.docVIP

计算机软件与理论论文：基于选择策略的集成学习方法研究 【中文摘要】集成学习是机器学习领域的热点研究之一。它主要是通过某种组合方式将多个学习器的分类结果融合到一起,从而提高集成学习的泛化能力,避免过拟合现象。集成学习应用很广泛,目前主要应用领域有图像识别、语音识别、地震波分类等。选择性集成是在集成学习的基础上发展起来的,它的主要思想是通过某种方法来选取部分基模型进行集成。本文主要对选择策略的集成学习进行了研究。研究内容主要包括以下几个方面:第一,使用ID3决策树算法以及BP神经网络算法分别训练出若干个基模型。在这里,使用ID3算法训练基模型时要对数据进行离散化处理,使用BP神经网络算法时要对部分数据进行归一化处理,对数据的处理是否影响到集成性能进行了研究;第二,通过新的选择标准,采用爬山法、前序选择和后序选择这三种选择性方法对选择性集成进行了研究,实验证明了这几种方法的有效性,选择标准中参数的改变也说明了差异性对集成性能产生了一定的影响,并且把实验结果同对所有基模型进行集成的结果进行了比较,说明了选择性集成的有效性;第三,采用一些聚类方法对选择性集成进行了研究,当然这里的聚类是指将满足一定条件的基模型聚到一块,聚类选择方法主要包括层次聚类和k-means聚类。在聚类当... 【英文摘要】Ensembles of learnt models constitute one of the main current directions in machine learning. Ensemble allows us to achieve higher generalization performances and tackle the problem of over fitting by fusing the results of many learning machine in some way. In result years, as machine learning has been widely used in data mining and analysis, a number of theories of ensemble learning have been successfully applied into image recognition, voice recognition and the classification of seismic wave and so on. Th... 【关键词】决策树 神经网络 集成学习 选择性集成 【英文关键词】Decision tree Neural network Ensemble learning Selective ensemble 【目录】基于选择策略的集成学习方法研究 摘要 5-6 Abstract 6-7 第1章 引言 11-16 1.1 研究背景及意义 11-12 1.2 国内外研究现状与分析 12-14 1.3 研究内容 14 1.4 本文组织结构 14-16 第2章 预备知识 16-22 2.1 决策树 16-17 2.1.1 决策树基本知识 16-17 2.1.2 决策树的特点及应用 17 2.2 BP神经网络 17-18 2.2.1 BP神经网络基本知识 17-18 2.2.2 BP神经网络的特点及应用 18 2.3 选择性集成学习 18-19 2.4 集成学习的差异性度量方法 19-21 2.4.1 Fail/Non-fail差异性度量方法 19-20 2.4.2 Double-falut度量方法 20 2.4.3 相关系数法 20 2.4.4 熵E差异性度量方法 20-21 2.5 本章小结 21-22 第3章 数据预处理 22-26 3.1 理论知识 22-23 3.2 连续数值离散化 23-24 3.2.1 数据离散化思想 23 3.2.2 实验结果 23-24 3.3 数据的归一化处理 24-25 3.3.1 归一化处理思想 24-25 3.4 结论 25-26 第4章 基于爬山法、前序选择和后序选择的集成学习研究 26-34 4.1 引言 26 4.2 选择性策略 26-28 4.2.1 爬山选择方法 26-27 4.2.2 前序选择方法 27 4.2.3 后序选择方法 27-28 4.3 实验数据 28-29 4.4 实验结果与分析 29-33 4.4.1 采用ID3 算法训练的基模型的实验结果与分析 29-31 4.4.2 采用BP神经网络算法训练的基模型的实验结果与分析 31-33 4.5 本章小结 33-34 第5章 基于聚类选择技术的集成学习研究 34-46 5.1 聚类选择理论基础 34-35 5.2 层次聚类选择 35-39 5.