基于《知网》的中文信息结构抽取1HowNet-BasedExtractionof.pdfVIP

基于《知网》的中文信息结构抽取1 董强 郝长伶 董振东 中国科学院计算机语言信息工程研究中心 北京 100083 E-mail: support@ HowNet-Based Extraction of Chinese Message Structures Qiang Dong Changling Hao Zhendong Dong Research Center of Computer Language Information Engineering, CAS, Beij ing, 100083 E-mail: support@ Abstract: The Chinese message structure is composed of several Chinese fragments which may be characters words or phrases. Every message structure carries certain information. We have developed a HowNet-based extractor that can extract Chinese message structures from a real text and serves as an interactive tool for building large-scale bank of Chinese message structures. The system utilizes the HowNet Knowledge System as its basic resources. It is an integrated system of rule-based analyzer, statistics based on the examples and the analogy given by HowNet-based concept similarity calculator. Keyword: Chinese message structure; Knowledge Database Mark-up Language (KDML); parsing; chunk; 1 引言 近年来，语块分析（chunk parsing ）或被称为浅层句法分析（shallow parsing ）或部分句法分析（partial parsing ）等语言处理方法成为语言技术研究的一个热点。其中印欧语言在这方面的研究已经取得了 一定的成果，但是对于中文的语块分析则相对落后。其中主要的原因在于：相对于印欧语言，中文 没有那么丰富的形态变化，中文的词类 句法功能不是一一对应的，中文的词、短语、句子之间的 界限是模糊的。除此而外，甚至可能是更重要的原因在于：中文的结构更加依赖于语义的制约。 本文提出中文信息结构这样的概念，并据此构建了基于知网的中文信息结构抽取器。该抽取器从中 文的语义出发，以知网知识系统作为其基础资源。中文信息结构抽取器的功能主要包括两个方面： （1）构建、管理和维护《知网-中文信息结构库》的数据；（2）是分析并抽取真实文本中的中文信 息结构。其技术关键是：第一，它对于中文的词、词组、短语进行一体化的处理；第二，它主要是 基于语义的。第三，它是基于规则匹配和基于大规模实例库及相似度比较的结合。中文信息结构抽 取器利用已有的中文信息结构的模式与实例编写规则， 利用这些规则到真实的文本中抽取所需的 中文信息结构来构建更大规模的中文信息结构库。 2 中文信息结构 信息结构 （message structure ）是由两个或两个以上的字、词或短语构成，句法和语义合理，并传达 了特定信息的结构。该结构内不含有介词、助词、连词、标点。该结构内部允许呈递归形态。信息 结构是信息理解 （message understanding ）的基础。信息结构是依赖于特定语言的，不同的语言可以 表达相同的信息，但有着不同的信息结构。试以通缉犯这样一个词语为例。其中有两个基本单元 “通缉”和 “犯”，“通缉”为动词，“犯”为名词，因此从句法结构看是 V ＋N 的定中结构；从语 1基金项