基于标签语义融合的多标签文本分类研究.pdfVIP

摘要

摘要

在NLP领域中多标签文本分类是一项重要的任务，在情感分析、垃圾邮件过

滤等实际任务中有着重要的意义。随着人工智能的不断发展，多标签文本分类的

研究也在不断前进。但相比单标签文本分类，多标签文本分类面临着更复杂的挑

战。本文在深度学习的基础上，并结合已有的研究成果对多标签分类面临的困难

和挑战进一步分析和研究，主要就多标签文本分类任务中标签语义提取及其信息

嵌入的问题提出基于全局标签关联信息融合的多标签文本分类方法，同时就学习

标签相关性的问题提出基于混合合成注意力和图卷积融合标签语义的多标签文本

分类方法。

（1）提出基于全局标签关联信息融合的多标签文本分类模型。传统的多标签

分类方法通常没有考虑标签的语义信息，忽略了标签与文本之间的联系。为了解

决这个问题，模型在标签嵌入部分利用标签注意力机制联合文本和标签得到嵌入

信息，同时利用局部矩阵扩展此联系用以来建模文本和单词的相关性。其次，模

型在文本表示中使用注意力机制和卷积层混合对全局的特征整合、局部特征加权

来获得包含全局上下文信息的文本表示。将这两种融合后的标签信息表示通过采

样拼接在一起，得到了融合了全局标签关联文本信息的文本表示。通过在两个数

据集（RCV1-V2和AAPD）上做对比实验进行验证，该模型在多标签分类性能上

较其他先进的算法有一定的提升。

（2）提出基于混合合成注意力和图卷积融合标签语义的多标签文本分类模型。

为了进一步探索标签的语义成分之间的联系，模型在标签处理模块中主要基于标

签的共现矩阵构建标签图，并使用图卷积进一步的学习标签间关系。同时在文本

表示模块，考虑到注意力机制中的点积操作在计算单词间关系时耗时长且占内存，

模型利用合成注意力机制生成的对齐矩阵替代点积操作，从基于固定权重和随机

权重初始化的方法得到侧重跨单词联系和侧重单词间联系的混合信息表达。将模

型与基准模型在两数据集中做对比实验，证明了模型在分类性能上的提升。

关键词：多标签文本分类，深度学习，注意力机制，图卷积神经网络

I

ABSTRACT

ABSTRACT

Multi-labeltextclassificationisanimportanttaskinthefieldofNLP,andhasgreat

significanceinpracticaltaskssuchassentimentanalysisandspamfiltering.Withthe

continuousdevelopmentofartificialintelligence,theresearchofmulti-labeltextclassifi-

cationisalsoconstantlyadvancing.However,comparedwithsingle-labeltextclassifica-

tion,multi-labeltextclassificationfacesmorecomplexchallenges.Onthebasisofdeep

learningandcombinedwithexistingresearchresults,thisthesisfurtheranalyzesandstud-

iesthedifficultiesandchallengesfacedbymulti-labelclassification,andmainlyproposes

amulti-labeltextclassificationmethodbasedongloballabelassociationinformationfu-

sionfortheproblemsoflabelsemanticextractionandinformationembeddinginmulti-

labeltextclassificationtasks.Meanwhile,amulti-labeltextclassificationmetho