一个面向文本分类的中文特征词自动抽取方法.pdf

一个面向文本分类的中文特征词自动抽取方法 付德宇 代成琴 哈尔滨工业大学信息与网络中心 （黑龙江哈尔滨 150001 ） E-mail:fdy@ 摘 要 本文根据主流文本分类模型只对词频敏感、且只关注中高频词条的特点，设计实现 了一个基于多步过滤汉字结合模式的无词典特征词自动抽取方法，并通过实验同传统的词 典分词法进行了比较，结果表明，这种方法对于中高频词条的识别率接近于词典分词法， 而分词速度上则远远高于词典分词法，能够满足对大规模开放域文本进行快速特征词自动 抽取的需求。 关键词 中文特征词自动抽取 文本分类 汉字结合模式 中图分类号 TP399 A method of Chinese lexical items’ extraction for text categorization Fu Deyu Dai Chengqin (Information and Network Center , Harbin Institute of Technology Harbin 150006) Abstract: This article according to the mainstream text classification model is only sensitive to the lexical items’ frequency, also only with the lexical items of intermediate and high frequency related, a dictionary-free method based on filtering the combination patterns of Chinese characters in many steps is designed. It has compared with the traditional method on dictionary through the experiment, the results show that the method is close to the method on dictionary in the recall’s value for the lexical items of intermediate and high frequency , and far higher than the method on dictionary at the speed. It can satisfy to the large-scale and opening text documents on the demand of Chinese lexical items’ extraction Keywords: Chinese lexical items’ extraction, Text categorization, Combination patterns of Chinese characters 1. 引言 随着Web 上中文文本数量的不断增加，自动分类已经成为组织和管理在线中文文本数 据的关键技术。目前主流文本分类技术都采用向量空间模型对文本进行表示，向量空间模 [1] 型将文本表示成以特征词权重为项的向量，从而把分类问题转化成一个向量计算问题 。 显然文本特征词的确定是影响文本分类质量和速度的重要环节，由于中文文本没有类似英 文空格之类的显式表来标示词的边界，因此中文文本特征词自动抽取成为中文文本分类的 一个关键问题。中文文本特征词自动抽取本质上是一个中文分词问题。中文分词的研究有 将近二十年的历史，目前比较成熟的分词技术都是基于词典的分词方法，大多数中文文本 分类系统也都是以基于词典的分词方法为主，同时辅以其它的方法提高特征词自动抽取的 精度[2] 。如文献[3] 基于词典采用双向最大匹配法进行自动分词，然后利用数据采掘方法获 取汉语的词性规则，只保留名词和动词作为