基于小样本的集成学习研究.pdfVIP

第 26卷 第 12期 机 电 工 程 VOl_26NO．12 2009年 12月 Mechanical＆ ElectricalEngineeringMagazine Dec．2009 基于小样本的集成学习研究 倪 勇 ，吴汶芪 ，李 君 (1．浙江丁业大学 信息学院，浙江 杭州 310004；2．浙江机 电职业技术学院 电子信息工程系，浙江 杭州 310053) 摘 要 ：为 了提 高集成学习在 小数据量的有标记样本 问题 中的性 能，结合半监督学 习和选择性集成学 习，提 出了一种基于半监督回归的选择性集成算法 SSRES。一方面，充分利用大量的未标记样本来辅助 m一一～～一一～w一一～～。一一一一一一一啦～～一一一一一～～～～～_三一一一一一一一一一～lc一一一一一～一一一一一墨．．一一一一～～～～一m一一一一一一一一～～一一一一一一一～～一～．一一一一～一一一一～～一一．． 有标记样本的学习；另一方面，使用选择性集成学习进一步提高学-7系统的泛化能力。实验结果表 明， SSRES算法能够利用未标记样本和选择性集成技术提 高学习器的性能。 关键词 ：集成学习；选择性集成；半监督学习；选择性集成算法 中图分类号 ：TP181 文献标识码 ：A 文章编号：1001—4551(2009)12—0041—04 识别 、文档 分类 、入 问题 O 引 言 侵检测等方面 己获 Il 以往集成学习 的研究主要集 中在监督学习上 ， 得相当的成功。 这种学习方式需要大数据量的有标记训练样本 。但是 GRES 。就是一 在某些实际的训练过程 中，大数据 量的有标记样本往 种用 于解决 回归 问 往难 以获得。而对于小数据量的有标记训练样本 ，集 题的选 择性集 成算 图 1 选择性集成 的基本思想 成学习的效果往往又不理想。因此 ，针对小数据量 的 法。它 使 用 greedy 有标记样本 问题 ，如何提高集 成学 习的性能仍然是一 算法查找全局最优的学习器集合从而提高学习器集合 个值得研究的问题 。 的整体性能 。下面本研究将从有哪些信誉好的足球投注网站方 向、评估 函数和 针对训练过程 中存在大量未标记样本 的情况 ，本 学习器个数这 3个方面对其进行介绍。 研究结合半监督学习 和选择性集成学习 ，提 出一 1．1 有哪些信誉好的足球投注网站方 向 种基于半监督 回归的选择性集成算法 SSRES。 根据有哪些信誉好的足球投注网站方 向的不同，其可以分为两种选择性集 1 选择性集成算法一GREs 成算法 ：向前选取法 (forwardselection)和向后删除法 (backwardelimination)。具有 4个学 习器时两种不同 选择性集成的基本思想如 图 1所示。近年来 ，涌 算法 的原理如图2所示。 现出了大量的选择性集成算法 。这些技术在人脸 收稿 日期 ：2009～06—03 作者简介 ：倪 勇(1967一)，男 ，浙江杭州人 ，副教授 ，主要从事智 能控制 方面的研 究．E—mail：nyl188@126．conl 机