基于半监督学习和迁移学习的跨领域中文分词研究.pdfVIP

摘要

中文分词是指将连续的汉语文本用分隔符分成单独的词的过程。分词结果对

其他一些汉语自然语言处理任务有着深刻的影响，因此中文分词是汉语自然语言

处理领域的基石。

近年来，国内外对中文分词的研究集中于如何利用神经网络构建效果更好的

分词模型。与传统分词方法相比，基于神经网络的分词方法可以训练出分词效果

更好的模型。然而，基于神经网络的分词方法需要大量的标注数据，目前公开的

中文分词数据集绝大多数都是新闻领域。由于领域间数据分布不一致和未登陆词

问题，使用新闻领域数据训练出来的分词模型很难正确划分其他领域的数据，这

就是中文分词任务的跨领域问题。为每个领域标注足够多的数据可以解决中文分

词的跨领域问题，然而标注数据需要消耗大量的人力物力。因此，研究跨领域中

文分词任务具有重要的理论价值和现实意义。

针对跨领域中文分词任务存在的问题，本文将从半监督学习和对抗迁移学习

两个方面研究如何利用资源丰富的源领域数据和外部资源去提高模型在目标领

域的性能，缓解目标领域标注数据不足的问题。本文的主要研究内容如下：

（1）多准则思想能为模型提供更多的特征信息，半监督学习能利用无标注

数据来缓解目标领域标注数据不足的问题。因此，本文提出了一种基于多准则思

想和半监督学习的中文分词方法。该方法利用多准则思想提取多个分词工具的共

性信息，为模型训练提供更丰富的特征信息。本文还设计了一种相似度计算方法

从无标注数据中选取相似度高的句子，通过自训练算法利用大量相似度高的无标

注数据和少量标注数据迭代地训练分词模型。在PKU、MSRA、《诛仙》和微博

数据集上进行了实验，本文模型的F1值平均提升1.41%。

（2）词典可以缓解目标领域标注数据不足的问题，为模型提供更多的特征

信息，对抗迁移学习可以更好地利用源领域数据。因此，本文提出了一种基于词

典和对抗迁移学习的跨领域中文分词方法。利用词典一方面可以为目标领域构建

伪标注数据集，缓解目标领域标注数据不足的问题；另一方面可以生成特征向量，

为模型提供更多的词边界信息。为了降低伪标注数据集中的噪声和最大化利用源

领域数据，本文在模型训练中引入对抗迁移学习，提取领域不变的特征，为模型

训练提供更丰富的特征信息。在SIGHAN2010数据集和《诛仙》数据集上进行

了实验，与对比的跨领域中文分词方法相比，本文模型的F1值平均提升1.03%。

关键词：中文分词、半监督学习、自训练、迁移学习、跨领域、对抗学习、词典

ABSTRACT

Chinesewordsegmentation(CWS)referstodividingcontinuousChinesetextinto

separatewordswithseparators.TheresultofCWShasaprofoundimpactonsomeother

Chinesenaturallanguageprocessing(NLP)tasks,soCWSisthecornerstoneofNLP.

ResearchonCWShasfocusedonusingneuralnetworkstobuildeffectiveCWS

models.TheCWSmethodbasedontheneuralnetworkcantrainagoodmodel.

However,theCWSmethodbasedontheneuralnetworkrequiresalargeamountof

labeleddata,andmostofthecurrentlypublicCWSdatasetsareinthenewsfield.Due

totheinconsistencyofdatadistributionbetweendomainsandOutofVocabulary(OOV),

itisdifficultfortheCWSmodeltrainedwithnewsdomaindatatocorrectlysegment

thedataofotherdomains.Thisisthecross