HTML文本自动分类预处理方法的研究应用.pdfVIP

( ) 2007 年 1 月 内蒙古大学学报 自然科学版 J an. 2007 第3 8 卷第1期 . 38 . 1 A cta Scien t iarum N atu ra lium U n iver sitat is N eiM ongo l V o l N o ( ) 　　文章编号: 1000- 1638 2007 0 1007504 H TM L 文本自动分类预处理方法的研究应用 1, 2 1 刘冬梅 , 王俊义 ( 1. 内蒙古大学计算机学院, 呼和浩特 0 1002 1; 2. 内蒙古工业大学计算机系, 呼和浩特 0 1005 1) 摘要: 研究了H TM L 标记对网页内容的修饰作用, 以前人理论为基础设计和实现了基于 H TM L 标记的网页分析和加权策略与算法. 经实验比较, 加入预处理算法后, 提高了分类器的 分类效率, 验证了所提出方法的有效性. 关键词: 网页自动分类; H TM L ; 网页预处理 中图分类号: T P 30 1　　文献标识码:A 　　 目前, 网页自动分类的主要方法是在文本 自动分类方法的基础上, 充分考虑H TM L 文本 自身的 一些特点来进行分类的. H TM L 文本与普通的中文文本不同之处在于: H TM L 页面除了纯文本信息 以外, 还有其他描述信息, 如标题、页面描述、关键词和超链接等. 这些描述信息中出现的关键词包含 了网页的重要信息, 对分类有较大的作用, 如果忽略掉这些内容, 把网页文本当作纯文本文件处理, 在 很大程度上会影响分类效果. 所以, 在对H TM L 文档进行扫描处理前, 首先需要对H TM L 标记进行 正确的识别和处理, 并根据H TM L 标记对网页不同部分的文本进行加权处理. 1　H TM L 文本标记加权方案 　　 是一种描述文档结构的标记语言, 它是用一些约定的标记对 上的各种信息进行标 H TM L WWW 记. 当用户浏览 上的信息时, 浏览器会 自动解释这些标记的含义, 并按照一定的格式在屏幕上 WWW 显示这些被标记的文件. 所以, 要对用H TM L 书写的网页信息进行加权处理, 首先必须认清它的文件 〔1〕 格式 . H TM L 定义了许多标记来描述网页的格式和特性, 大多数H TM L 标记的书写格式如下: 标记名 文件内容 标记名 标记名通常写在“ ”内. 一般的H TM L 标记都具有起始和结束标记, 放在它所描述的文档的两边, 结束标记前要加“”, 并且成对出现. 如: . . . , . . . . H TM L