Web文本挖掘中的特征表示与特征提取技术.pdfVIP

第21卷第2期 三 明 高 等 专 科 学 校 学 报 2004年6月 Vol.21No.2 JOURNALOFSAW INGCOLLEGE Jun.2004 Web文本挖掘中的特征表示与特征提取技术 陈 淑 珍 (三明高等专科学校计算机科学系，福建 三明 365004) 摘 要:Web文本挖掘是人工智能一个崭新的研究领域。分词、特征表示和特征子集提取技 术是文本挖掘过程中前期的基础性工作。介绍了文本挖掘中分词、特征表示及特征子集提取的常 用技术及发展趋势。 关键词:Web文本挖掘;分词技术;特征表示;特征提取 中图分类号:TP18 文献标识码:A 文章编号:1671一1343(2004)02一0053一05 Intemet为用户提供了海量的、丰富的数据资源，如何从Web上的大量信息中有效、快速地 找出用户感兴趣的信息便成为数据挖掘的一个新的研究领域，这就是Web数据挖掘。Intemet 上信息资源是由众多的Web页面以超链接形式组织而成的，Web页面包含了大量的文本信 息、多媒体信息、超级链接信息等等，而网页中最主要的信息资源是文本，因此Web文本挖掘 (TextMinging)又成为Wel〕数据挖掘的一个重要研究领域。 文本挖掘的一般过程可用图I来概括: 学习与知识 模酉骊量 特征扭v仅 模式提取 评价 图IWeb文本挖掘的一般处理过程[I) 特征的建立:与数据库中的结构化数据相比Web文档具有有限的结构，或者根本就没有 结构，即使具有一些结构，也还是着重于格式，而非文档内容，且不同类型文档的结构也不一 致。同时，Web文档的内容是人类所使用的自然语言，而计算机只能处理ASCII文件。文本信 息源的这些特殊形式使得现有的数据挖掘技术无法直接应用于其上。我们需要对文本进行预 处理，抽取代表其特征的元数据，将这些文档转化成一种类似关系数据库中记录的比较规整且 能反映文档内容特征的表示，实现文本的量化处理，建立起文档模型[’，幻。 特征抽取:即特征集的缩减。当文档转化为一种类似于关系数据库中记录的较规整且能 反映文档内容特征表示的文档特征向量后，文档特征向量会达到数十万的惊人维数，因此特征 一 集的缩减成为文本数据挖掘中必不可少的一步[’】。 收稿日期:2004-02-16 作者简介:陈淑珍(1969-)，女，福建南平人，三明高等专科学校计算机科学系讲师。 学习与知识模式的提取:完成文档特征向量维数的缩减后便可利用机器学习的各种方法 来提取面向特定应用目的的知识模式。最后对获取的知识模式进行质量评价，若评价结果满 足一定的要求，则存贮该知识模式，否则返回到以前的某个环节改进后获取新的知识模式’〔〕。 本文阐明文档模型建立、特征选取算法等关键技术，这是进行一切Web文本挖掘应用的 前提。 IWeb文档模型建立 Web文档模型建立主要有三种方法:(1)统计模型方法主要是采用向量空间模型(VSM, VectorSpaceModel)，1969年GerardSalton和McGill提出。(2)潜在语义索引(LSI,LatentSemantic Indexing)也用向量表示特征项，但是每一个向量代表一个概“念”。由Dumais,Fumas,Landaver 和Harshman于199()年提出。(3)概率模型方法使用概率构架来表示特征项。由Belkin和Croft 于1992年提出。其中矢量空间模型VSM是近年来应用较多且效果较好的方法之一，其技术 关键是通过分词和词频统计方法，从文档中选出尽可能多的词、词组和短语，由它们来构成文 档矢量(3]。 1.1 自动分词技术及常见算法[4-9] 理解汉语的首要任务是把连续的汉字串分割成词的序列。自动分词是汉语自然语言处理 的第一步。所谓自动分词技术(2]是在中文文本中连续地能够代表语义单元的词或者N元词 条间加人分隔符。 自动分词方法