基于多层协同优化融合的半监督图像分类算法.pdfVIP

摘要

图像分类任务作为在目标识别中最为基础性的研究内容被广泛应用于各个

领域。并且，在分类之前需要大量的有标签数据集训练，然而在相对复杂的现实

场景，图像数据往往是无标签的，并且人工标注过程需要很大的工作量，使得海

量无标签数据无法被有效利用，大大增加了其任务本身的挑战性。

作为半监督学习的常用方法，协同训练算法通过从数据的多个相互冗余并满

足条件独立的特征图中，构建多个分类器来实现“相互学习训练”，可以有效地

解决有标签数据不足的问题。因此，进一步提高该算法的容错性及分类精度已成

为半监督学习领域备受关注的问题。针对上述问题，本文主要研究性工作如下：

（1）针对用于图像分类的深度神经网络中，基于梯度的优化算法容易出现

超调且学习率手动调参的不合理性，提出一种带微分项的自适应梯度优化

（Adaptivestochasticgradientdescentwithdifferentialterms，AdaSGD-D）算法。

首先，根据神经网络训练与控制系统关系图对其进行相似性分析，并得出带动量

随机梯度下降算法权重更新滞后于梯度变化；随后，结合控制论思想微分控制思

想，在迭代中加入微分项，有效地解决了超调问题；最后，结合自适应机制原理，

实现了学习率的自适应调节，从而提高收敛性及收敛速率。

（2）针对传统协同训练算法误差大及高计算复杂度问题，提出一种基于加

权融合的协同训练算法。首先，针对目前卷积神经网络(Convolutionalneural

network,CNN)无法充分利用无标签数据训练模型的问题，提出一种基于序贯融合

式协同训练框架，包括协同训练过程及序贯式融合分类过程两个过程；然后，针

对传统协同训练方法中基于决策树的分类器高计算复杂度问题，提出一种基于多

CNN融合的协同训练模式并引入上一章节提出的AdaSGD-D算法进行优化，提

高分类器的收敛性及收敛速率；最后，针对传统协同训练方法基于单个分类器决

策的低容错性问题，提出一种基于主成分加权的融合方法，进一步增强算法性能。

（3）针对基于监督学习算法易陷入局部最优问题，提出一种基于多层协同

融合的多分类算法。首先，通过将协同训练算法所得监督信息引入聚类算法，得

到一种基于半监督学习的聚类算法，提高了分类精度；然后，为了解决协同训练

算法局部最优问题，设计一种多层协同融合策略，将上一章所提基于加权融合的

协同训练算法与聚类方法结合，进一步提高了分类性能。

本文在公开的数据集上通过仿真实验进行了比较。通过实验的仿真结果可以

很好地看出本文所提优化算法的有效性及半监督图像分类算法的优越性。

关键词：图像分类、半监督学习、协同训练算法、聚类算法、梯度下降法

ABSTRACT

Asthemostbasicresearchcontentintargetrecognition,imageclassificationtask

iswidelyusedinvariousfields.Moreover,beforeclassification,alargenumberof

labeleddatasetsareneededfortraining.However,inrelativelycomplexrealscenes,

imagedataisoftenunlabeled,andthemanualannotationprocessrequiresalotofwork,

whichmakesthemassiveunlabeleddatacannotbeeffectivelyused,greatlyincreasing

thechallengeofthetaskitself.

Asacommonmethodofsemisupervisedlearning,collaborativetraining

algorithmconstructsmultipleclassifiersfrommultiplemutually