基于表示学习的标记增强与标记分布学习方法研究.pdfVIP

摘要

标签多义性问题一直是机器学习和数据挖掘领域的一大挑战。传统的单标记学习

和多标记学习假设每个实例与一个或多个标签相关联。但是在现实世界中，不同标签

对同一实例的描述往往存在不同程度上的差异。标记分布学习的提出为解决标签多义

性问题提供了新的思路，与之相关的标记增强技术将训练数据集中的逻辑标签转化为

标记分布，为后续标记分布学习过程提供数据支持。在标记增强和标记分布学习过程

中，预测结果与真实标记分布的一致性取决于对样本特征信息的有效利用。因此，提升

特征表示学习能力、挖掘数据中的潜在信息成为关键任务。目前，对于如何提升特征学

习能力以改善标记增强和标记分布学习任务性能的研究还相对有限。因此，本文针对

上述问题分别进行研究，提出两种方法依次、渐进的解决标记分布学习任务。

1)本文提出了基于对比学习的标记增强方法（ConLE），用于解决标记分布数据集

难以获取的问题。该方法通过对比学习策略将特征和逻辑标签转换到统一的投影空间

中。在这个投影空间中，同一样本的特征和逻辑标签更加接近，而不同样本的特征和逻

辑标签相距较远，这样形成的高级特征对样本具有更好的表述能力。同时设计考虑标

签一致性的特征映射网络，将获得的高级特征映射为标签分布。特征表示学习能力的

提升，使得ConLE能够统一样本不同视角的特征信息，从而取得更好的实验结果。

2)本文提出了联合深度森林与异质集成的标记分布学习方法(LDLDF)，用于提升标

记分布学习的模型性能，进而解决标签多义性问题。该方法采用深度森林的级联结构

模拟具有多层处理结构的深度学习模型，在级联层中组合多个异质分类器增加集成的

多样性。相较于其他现有标记分布学习方法，LDLDF能够逐层处理信息，学习更好的

特征表示，挖掘数据中丰富的语义信息，具有强大的表示学习能力和泛化能力。此外，

考虑到深层模型可能出现的模型退化问题，LDLDF采用了层特征重用机制降低模型的

训练误差，有效利用了深层模型每一层的预测能力。LDLDF通过深层模型结构挖掘特

征信息，相较于之前的标记分布学习方法性能上取得了明显的改进。

本文围绕标记增强与标记分布学习领域内亟待探索的问题展开研究，提出两种方

法探索如何通过提升特征表示学习能力，改善模型对样本和标签的理解力，提高标记

分布的预测水平，为标签多义性问题提供解决方案。大量实验表明所提方法的有效性。

关键词：标记分布学习；标记增强；特征表示学习；深度森林；对比学习

论文类型：应用研究

KEYWORDS:Labeldistributionlearning;Labelenhancement;Featurerepresentation

learning;Deepforest;Contrastivelearning

TYPEOFTHESIS:ApplicationResearch

符号对照表

X[x1,x2,...,xn]∈Rn×d输入特征空间

x第个样本

ii

Y{y,y,...,y}有限标签集

12c

c标签数量

D[D,D,...,D]∈Rn×c输入空间对应的标记分布空间

12n

y1y2ycTc样本对应的标记分布

Di(dx,dx,...,dx)∈[0,1]xi

iii

yj