基于迁移学习的中文长文本分类研究.pdfVIP

基于迁移学习的中文长文本分类研究

摘要

近年来随着深度学习的发展，预训练模型在各个领域大放异彩，PanGu-Alpha、

GPT-4、ChatGLM-6B等大语言模型在自然语言处理领域中取得显著成效。文本

分类作为自然语言处理领域的基础任务，在当下这个海量数据的信息时代对它的

研究依然至关重要。尽管大语言模型的出现有效提升了文本分类的效果，但由于

语言的差异性、某些领域数据规模不足、文本语义信息特征学习不充分等问题依

旧影响着文本分类的结果。现实情况中，由于大量的中文文本具有复杂度高，内

容广泛，文本可能同时归纳到多个类别，类别间交叉性强的特点，导致文本分类

难度大。论文基于《读者》期刊大量文本的分类需求，针对文本序列长度限制、

语义特征学习不充分、计算效率低及小样本文本分类问题展开研究。本文的工作

内容如下：

提出了面向中文长文本分类的并行架构。并行架构包括文本序列处理模块、

并行计算模块和层级注意力模块。文本序列处理模块进行覆盖分割和层级位置编

码；长文本序列进行覆盖分割处理以便并行计算；层级位置编码在已经训练好的

绝对位置编码上构建新的位置编码，从而提升文本序列位置编码的长度。并行计

算模块迁移已经训练好的预训练语言模型。层级注意力模块由Bi-LSTM和注意

力机制构成，来融合覆盖分割后段间和段内特征。本文通过迁移已经训练好的

XLNet模型和BERT模型，采用并行架构构建了LTXLT和LTBRT并行模型。

提出了基于PMF架构的小样本中文长文本分类模型。此模型共分为预训练-

元训练-微调三阶段，预训练阶段迁移采用大量未标记外部数据训练的预训练模

型作为预训练骨干网络；元训练阶段在有标记的小样本数据集上对预训练骨干网

络进行元训练得到元训练骨干网络；微调阶段将元训练骨干网络转换为特定任务

的微调骨干网络，部署到新的小样本任务上进行微调。预训练阶段骨干网络采用

LTXLT和LTBRT，元训练阶段采用MAML和ProtoNet算法，微调阶段采用数

据增强方式通过梯度更新的方式微调特征主干。

根据《读者》期刊30年刊载文章内容构建了具有文本复杂度高，涵盖内容

广泛，类别间交叉性强特点的DuZhe中文长文本分类数据集。

本文通过实验验证模型方法的有效性。面向中文长文本分类的并行架构分别

在THUCNews数据集、IFLYTEK数据集和DuZhe数据集上进行实验，在三个数

据集上LTXLT分别取得0.976、0.616、0.364的最佳结果，LTBRT分别取得0.952、

0.615、0.369的最佳结果。在DuZhe数据集上取得分类效果低，其主要原因是文

本复杂度高，内容广泛，文本可能同时归纳到多个类别，类别间交叉性强且DuZhe

数据集数据分布不均衡导致。基于PMF架构的小样本中文长文本分类模型中，

对于K-wayN-shot问题在THUCNews数据集和DuZhe数据集上进行实验，实验

发现预训练语言模型有效提高了模型的泛化能力；元训练使得骨干网络模型具有

适应新任务的能力；微调进一步提升骨干网络模型在新任务上的性能，有效提升

了小样本跨域文本分类的性能。

关键词：迁移学习，中文长文本分类，小样本学习，元学习，注意力机制

RESEARCHONCHINESELONGTEXT

CLASSIFICATIONBASEDONTRANSFERLEARNING

Abstract

Inrecentyears,withthedevelopmentofdeeplearning,pre-trainedmodelshaveshone

brightlyinvariousfields.LargelanguagemodelssuchasPanGu-Alpha,GPT-4,and

ChatGLM-6Bhaveachievedremarkablesuccessinthefieldofnaturallanguageprocessing.Text

classification,asafundamentaltaskinnatura