汉语中新词识别方法研究.docx

汉语中新词识别方法研究王倩倩，范通让（石家庄铁道大学信息科学与技术学院，河北石家庄０５００４３）摘要：随着互联网和社会的飞速发展，新词不断涌现。识别和整理这些新词语，是中文信息处理中的一个重要研究课题。提出一种新词识别方法，该方法利用基于ＰＡＴ－Ａｒｒａｙ的重复字符串抽取候选串，提高了新词的召回率。并在此基础上分析新词内部模式，添加了垃圾串过滤机制。单字串过滤主要是运用垃圾词典的方法，多字词模式新词的确定是利用改进的互信息与独立成词概率结合的方法。由此，大幅度提高了新词识别的准确率。关键词：新词；ＰＡＴ－Ａｒｒａｙ；互信息；垃圾串过滤；内部模式中图分类号：ＴＰ３９１．１２文献标识码：ＡＲｅｓｅａｒｃｈｏｆＣｈｉｎｅｓｅｎｅｗｗｏｒｄｉｄｅｎｔｉｆｉｃａｔｉｏｎｍｅｔｈｏｄＷＡＮＧＱｉａｎ－ｑｉａｎ，ＦＡＮＴｏｎｇ－ｒａｎｇ（ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＳｈｉｊｉａｚｈｕａｎｇＴｉｅｄａｏＵｎｉｖｅｒｓｉｔｙ，Ｓｈｉｊｉａｚｈｕａｎｇ，Ｈｅｂｅｉ０５００４３，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｗｉｔｈｔｈｅｒａｐｉｄｄｅｖｅｌｏｐｍｅｎｔｏｆｉｎｔｅｒｎｅｔａｎｄｓｏｃｉｅｔｙ，ｎｅｗｗｏｒｄｓａｒｅｅｍｅｒｇｉｎｇ．Ｉｄｅｎｔｉｆ－ｙｉｎｇａｎｄｏｒｇａｎｉｚｉｎｇｔｈｅｓｅｎｅｗｗｏｒｄｓ，ｉｓａｎｉｍｐｏｒｔａｎｔｒｅｓｅａｒｃｈｔｏｐｉｃｏｆＣｈｉｎｅｓｅｉｎｆｏｒｍａｔｉｏｎｐｒｏｃｅｓｓｉｎｇ．ＴｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｓａｎｅｗｗｏｒｄｒｅｃｏｇｎｉｔｉｏｎｍｅｔｈｏｄｖｉａｕｓｉｎｇＰＡＴ－Ａｒｒａｙｒｅｐｅａｔｅｄｅｘｔｒａｃｔｉｏｎｓｏｆｃａｎｄｉｄａｔｅｓｔｒｉｎｇｓｔｏｉｍｐｒｏｖｅｔｈｅｒｅｃａｌｌｏｆｎｅｗｗｏｒｄｓ．Ｂａｓｅｄｏｎｔｈｉｓｍｅｔｈｏｄ，ａｎａ－ｌｙｓｅｓｔｈｅｉｎｔｅｒｎａｌｍｏｄｅｌｏｆｎｅｗｗｏｒｄｓａｎｄａｄｄｓａｇａｒｂａｇｅｓｔｒｉｎｇｆｉｌｔｅｒｉｎｇｍｅｃｈａｎｉｓｍ．Ｕｓｅｔｈｅｇａｒｂａｇｅｄｉｃｔｉｏｎａｒｙｔｏｆｉｌｔｅｒｔｈｅｓｉｎｇｌｅｓｔｒｉｎｇ．Ｔｈｅｉｍｐｒｏｖｅｄｍｕｔｕａｌｉｎｆｏｒｍａｔｉｏｎｉｓｃｏｍｂｉｎｅｄｗｉｔｈａｓｅｐａｒａｔｅｗｏｒｄｃｏｍｂｉｎａｔｉｏｎｍｅｔｈｏｄｓｔｏｄｅｔｅｒｍｉｎｅｍｏｒｅｎｅｗｗｏｒｄｓ．Ｏｕｒａｃｈｉｅｖｅｍｅｎｔｓｃａｎｓｉｇｎｉｆｉｃａｎｔｌｙｉｍｐｒｏｖｅｔｈｅａｃｃｕｒａｃｙｏｆｎｅｗｗｏｒｄｒｅｃｏｇｎｉｔｉｏｎｓ．Ｋｅｙｗｏｒｄｓ：Ｎｅｗｗｏｒｄｓ；ＰＡＴ－Ａｒｒａｙ；Ｍｕｔｕａｌｉｎｆｏｒｍａｔｉｏｎ；Ｇａｒｂａｇｅｓｔｒｉｎｇｆｉｌｔｅｒ；Ｉｎｔｅｒｎａｌｍｏｄｅｌ随着社会以及互联网的迅猛发展，人们逐渐步入了海量信息时代，信息量正遵循“网络摩尔定律”以每１００天翻一番的速度增长［１］，这其中就包括大量涌现的术语和新词语。如何高效快速的从海量化的信息中提取出人们所需信息就变得有些困难，同时，这也是目前中文信息处理的一个重要研究方向。新词的自动识别在中文信息处理的众多领域都发挥着重要作用。此外，新词在一定程度上还可以反映当前社会的舆论走势或者热点问题，比如近期发生的备受关注的“马航失联”事件等。新词识别的性能对其相关领域存在很大的影响，具有重要的研究价收稿日期：２０１４－０５－２１河北省科学院学报２０１４年第３１卷３６值和意义。相关工作１目前主要有两种新词识别的研究方法：一种是基于统计的方法，一种是基于规则的方法。基于统计的方法是通过统计语料上下文中某些特定信息的出现频数来进行新词的识别［２］。其优点是灵活性非常好、适应能力强等。但是这种方法一般需要的语料规模较大，所以，准确率会受到相应影响。基于规则的方法是通过构词原理、词性和语义等信息的结合构造的样板来进行匹配，以此来识别新词。其优点是具有较高的准确率等。但由于各领域词语并没有统一的规则，所以适应性较差，并且对其规则的维护也有一定困难［３－４］。目前为了更好的实现新词识别，大多数人都采用基于统计和规则相结合的方法［５］。Ｃｈｅｎ等［６］基于统计特征，通过从分词后的散串中剔除单字词，提取新词语素的方法来进行新词识别。该方法对低频词识别效果较好，但其基于大规模语料库，自动识别单字词规则难以控制实现。张海军等［７］应用统计学习模型作为框架来整合不同类型的可用特征，结合多种特征规则，来检测新词。苏宁等［８］提出一种基于统计模型和词语搭配的中文新词自动识别方法，采用条件概率的方法提取单字词搭配特征和临界词特征来识别新词。钟将等［９］结合使用了互信息、信息熵以及词频等３个指标评价新词，同时为进一步提高其新词识别性能，还引入了垃圾串过滤机制。林自芳等［１０］基于词的内部模式，利用改进位置成词概率和首尾