模板化网页主题信息的提取方法.pdfVIP

I—SSN10—00-0054清华大学学报(自然科学版)2005年第45卷第s1期 4／39 CN Univ(Sci＆Tech)，2005，V01．45，No．S1 1743—1747 II一2223／NJTsinghua 模板化网页主题信息的提取方法 欧健文， 董守斌， 蔡斌 (华南理工大学广东省计算机网络重点实验室，广州510640) 摘要：为了消除网页噪音，有效地提取基于模板的网页主 息，已经成为当前应用和研究领域的一个重要课题。 题信息，提出了一种新的信息提取方法。该方法采用机器自 张志刚等[13提出以一组启发式规则为基础，利用信 动学习方式生成网页集的模板；以网页链接关系中的锚点 息检索的方法以及Web网页的特征，提取网页的主 文本作为提取目标对模板进行标记，生成对应模板的提取规 题以及主题相关的内容。常育红等[21用标记树表示 则；依据模板的提取规则对网页主题信息进行提取。对国内 页面文件，采用自底向上的算法，抽取出具有不同语 2588个新闻网页进行了检测。实验结果表明，该方法可以快 义的页面内容，提出用树形层次结构表示它们之间 速、有效地提取模板生成的网页集主题信息，准确率达 99．5％。将该方法应用于有哪些信誉好的足球投注网站引擎系统(木棉检索)中，与原关系的方法。荆涛和左万利[33利用网页中的布局信 来的检索系统相比较，索引文件的大小减少约50％，检索的 息对页面进行划分，并在此基础上去除噪音。Wang 速度和精确度也得到提高。 section 关键词：万维网；网页；信息提取；模板；有哪些信誉好的足球投注网站引擎 391 模板的网页树，去除相同的子树，把剩余部分作为网 中图分类号：TP 文献标识码：A 文章编号：1000—0054(2005)S1—1743—05 页的主题内容。张志刚、常育红、荆涛等的方法针对 单一页面进行处理，具有普遍性；文[4]则针对同一 个站点相同结构的网页进行处理。但这些方法都有 informationextraction Topic from web 一个共同的缺点，即必须对每一个新的网页都进行 templatepages 同样的处理，以致对于处理通过模板产生的网页集 Bin OUJianwen，DONGShoubin，CAI 信息提取效率比较低，尤其不利于有哪些信誉好的足球投注网站引擎在大量 of (GuangdongKeyLaboratoryComputerNetwork， SouthChina of 抓取网页时的网页预处理。 UniversityTechnology， 510640，China) Guangzhou 为消除网页噪音，有效地提取基于模板的网页主 an toeliminatenoise Abstract