crf产品名自动识别.pdfVIP

基于条件随机场的中文产品名自动识别方法* 黄利科1，2, 刘群1 （1.中国科学院计算技术研究所 智能信息处理重点实验室，北京 100080； 2.中国科学院研究生院， 北京 100049） 摘 要：信息化的发展对中文自然语言处理技术提出了更高的要求，从而使产品名实体识别逐渐成为一个 新的研究方向。.本文提出了一种基于条件随机场模型的中文产品名自动识别方法，在电子和数码领域语料 上取得了较好的效果，表明了该方法的有效性。 关键词： 产品名识别 条件随机场 中图法分类号：TP391 文献标识码：A Method for Chinese Product Name Recognition Based on Conditional Random Fields Huang Like1,2, Liu Qun1 (1. Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, CAS, Beijing 100080, China; 2. Graduate University of Chinese Academy of Sciences, Beijing 100049, China) Abstract: With the development of information society, the recognition of product named has been becoming a new research field, this paper presented an automatic recognition mathod besed on conditional random fields. Promising experimental results on corpus about digital product indicates its effectivity. Key words: Product Name Recognition; Conditional Random Fields 是一个比较新颖、迄今为止较少有人涉足的研究领域。就可 0 引言 查阅到的资料来看，当前国内外仅有为数不多的工作涉及这 一课题。[JM Pierre,2002]提出了一种在对文档集合进行自动 文本分类的基础之上利用数据挖掘技术从中获取知识信息 的方法，并在较大规模的英文产品评测类文档集合上进行了 命名实体识别对于很多自然语言处理领域的任务，如信 性能测试，简单布尔分类器的使用，使系统性能受到较大限 息抽取，信息检索和自动文摘等而言，作为许多工作的基础， 制。[C. Niu et al., 2003]利用自举（bootstrapping ）的、训练 是一项非常重要的技术。总体来说，经过较长一段时间的努 两个连续学习器的方法进行了多种命名实体在内的实体识 力，当前的中文命名实体识别方面的研究已经有了很大的进 别，在产品名方面，涉及英文的轿车，卡车，飞机以及计算 展，但是目前该领域内的工作，主要集中于对人名（PER ）、 机等多种类型，最终在该方向上取得 69.81%的F 值