基于条件随机场的自动标引模型研究-中国图书馆学报.PDF

中国图书馆学报(双月刊)2008年第5期 摇 摇 ZHONGGUO摇 TUSHUGUANXUEBAO 荫章成志摇 苏新宁 基于条件随机场的自动标引模型研究 摘摇 要摇 条件随机场(Conditional Random Fields,CRF)模型是一种概率图模型。 为了有效利用标引对象的特征, 并考虑到抽词标引可以转换为序列标注问题,本文提出基于条件随机场的自动抽词标引模型。 实验结果表明, 该模型在改善抽词标引的性能方面,要优于支持向量机、多元线性回归模型等其他机器学习方法,是到目前为止 解决序列标注问题的最好方法。 但是,该模型本身还不能解决由于样本中存在同义词和相近词带来的问题,需 要进一步对训练集和标引过程中存在的词汇语义情况进行考虑,提高标引的质量。 图1。 表3。 参考文献32。 关键词摇 抽词标引摇 条件随机场摇 自动标引 分类号摇 G252 ABSTRACT摇 CRF (Conditional Random Fields) model is a state-of-the-art sequence labeling method. The CRF model can use thefeatures of documents more sufficiently and effectively. At the sametime,keywordsextraction canbe considered asthe string labeling. Keywordsextraction model based on CRF isproposed and implemented. Experimental results show that the CRF model outperforms other machine learning methods such as support vector machine,multiple linear regression model etc. in the task of keywords extraction. 1fig. 3 tabs. 32 refs. KEY WORDS摇 Keywords extraction.摇 Conditional randomfield.摇 Automatic indexing. CLASS NUMBER摇 G252 摇 摇 自动标引包括自动抽词标引与自动赋词标引两 本中包含的多个特征,离实用化还有一定距离。 为了 种类型。 自动抽词标引是一种识别有意义且具有代 有效利用标引对象的特征,并考虑到抽词标引可以转 [1] 表性的片段或词汇的自动化技术 ,在文本挖掘领 换为序列标注问题,本文提出基于条件随机场的自动 域被称为关键词抽取,在计算语言学领域通常着眼于 抽词标引模型。 实验结果表明,条件随机场模型在改 术语自动识别[2-3] 。 善自动抽词标引的性能方面要优于支持向量机、多元 关键词是表达文件主题意义的最小单位,大部分 线性回归模型等其他机器学习方法。 对非结构化文件的自动处理,如自动标引、自动摘要、 1摇 基于条件随机场的抽词标引模型 自动分类、自动聚类等,都必须先进行抽词标引,再进 1.1摇 CRF抽词标引模型的引入 行其他处理。 可以说,抽词标引是所有文件自动处理 1.1.1摇 CRF简介 [4] 的基础与核心技术 。 条件随机场(Conditional Random Fields,CRF)模 目前大多文档都不具有关键词,而手工标引费时费 [24] 型是一种概率图模型 。 标注序列的结构可以看作 力且主观性较强,因此自动抽词标引是一项值得研究的 一般的无向图。 [4] 技术 。 自