选择性集成迁移算法分析-analysis of selective integration migration algorithm.docxVIP

摘要传统的机器学习分类算法大多需要满足训练数据和测试数据服从相同分布的条件，根据已有的标记样本建立分类模型，对测试样本进行分类预测。但是在实际情况中，这样的同分布假设往往无法得到满足，当数据分布发生改变时，就会导致学习到的模型无法很好的应用到测试数据上，于是传统的机器学习算法需要从零开始，重新标注大量的训练数据，但是标注新数据需要耗费大量的财力、人力及物力，若丢弃掉那些大量的不同分布下的过期的训练数据也造成了资源的浪费。这时，迁移学习变得尤为重要，因为它可以从一个任务的数据中获取知识，来帮助新任务的学习。迁移学习是一种新的机器学习框架，旨在将一个环境中的知识应用到新环境的领域与任务中。因此，迁移学习不需要服从数据同分布假设的条件。本文将较全面的介绍迁移学习的研究概况，并结合集成学习对迁移算法做了如下的研究：(1)提出了选择性集成迁移学习算法。根据目标域有标记样本的信息，对源域进行初步的筛选，然后对筛选后的源域进行随机采样获取N个源域子集，由它们在目标域训练样本上的经验误差进一步筛选源域子集，最终将选取的源域训练子集分别与目标域训练样本组合成相应的多个训练集，训练分类器并对目标域测试数据集多数投票预测。该算法充分利用了源域中的有用信息及多样性，通过训练集的重组，提高目标域训练样本在训练集合中的贡献率，取得了一定的效果。(2)提出了基于维数约简的集成迁移学习算法。对于特征维数庞大的样本分类，如果对特征进行降维，可以降低源域与目标域之间的差异性，更好地迁移源域的标签信息，同时可以降低算法的时间复杂度。新算法通过将源域数据进行Boostrap采样T遍，并与目标域测试数据结合成对应的T个数据集，通过对每个数据集分别进行SVD维数约简，在对应的各个低维空间中，分别由K近邻预测目标测试数据，最终再集成投票。结合了集成和降维后，新算法表现出比较好的性能。(3)提出了基于半监督的集成迁移学习算法。前两个算法都是通过有标记的训练数据建立模型，然后用于预测测试数据。通过引入了目标领域中的无标记样本参与训练，采用半监督自训练模式，并利用动态数据集重组集成思想，提出一种新的半监督的集成迁移算法，在剪切源域中差异性大的样本的同时，添加目标域无标记样本扩充目标训练样本集，与一些迁移算法相比，分类效果有一定的提高。关键词：迁移学习集成学习选择性维数约简半监督II选择性集成迁移算法研究AbstractMostoftraditionalmachinelearningalgorithmsarebasedontheassumptionthatthetrainingandtestdatamustbeinthesamefeaturespaceandfollowthesamedistribution.Usetheexistingmarkedtrainingsampletosetupclassificationmodel,andpredictthetestdatabythismodel.Butinfact,thisassumptionwiththesamedistributionoftencannotbesatisfied,whenthedatadistributionchange,itmaycausethatthelearnedmodelcannotapplytotestdataverywell,insuchcase,thetraditionalmachinelearningalgorithmsneedtostartfromscratch,markalargenumberoftrainingdataagain,whichisveryexpensiveandtime-consuming.Thisleavesplentyoflabeledexamplesthatareunderasimilarbutdifferentdistribution,whichisawastethrowawayentirely.Inthissituation,transferlearningbecomesimportanttotaketheroleoflever-agingtheseexistingdataknowledge.Transferlearning,asanewlearningframework,aimsatbuildingasystemtoapplyknowledgeandskillslearnedinprevioustaskstonoveltasks.Thus,transferlearningdoesnotmaketheidenticaldistributionassumptionastractionalmachinelearningalgorithms.Inthisthesis,wec