2011基于网页结构相似度的Web信息抽取《情报学报》.pdfVIP

情 报 学 报摇 摇 摇 ISSN 1000-0135 JOURNAL OFTHE CHINA SOCIETY FOR SCIENTIFIC ANDTECHNICAL INFORMATION ISSN 1000 -0135 第28卷第3期268 - 274,2011年3月 Vol.28 No.3,268 - 274 March 2011 試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試試 doi:10.3772/ j.issn.1000-0135.2011.03.006 基于网页结构相似度的Web信息抽取1) 聂摇 卉 (中山大学资讯管理系,广州510275 ) 摘要摇 摇 本文重点探讨基于编辑距离的网页相似度算法在Web抽取系统中的应用与实现。 通过结合基于URL及 编辑距离的网页结构相似度的计算方法,抽取系统在抽取过程中能够检测网页结构的变化,从而主动做出判断,选 择适应规则进行抽取或通过主动学习自动扩展规则库。 结构相似度计算赋予系统感知网页结构变化的能力,系统 通过主动自我更新与调整,能更好地适应面向实际应用的异构资源的获取。 算法的可行性和效率在原型系统中得 以验证。 关键词摇 摇 Web信息抽取摇 结构相似度摇 编辑距离摇 Information Extraction Based on Structural Similarities between Web Pages Nie Hui ( School of InformationManagement,Sun Yat鄄Sen University,Guangzhou510275 ) Abstract摇 摇 In this paper,wefocusonWebInformationExtractionby useof structural similarities. Combinedwith URL similarity,the Tree鄄Edit鄄Distancemethodisadaptedtomeasurethe similarity betweenwebpages. The similarity isusedfor detecting changes between the pages as the criterion. By thisway,the suitable extraction ruleswill be selected,otherwise, the target pagewillbefedtorulelearnermodule. Extractionrulesareinducedautomaticallybymachinelearning. Theintro鄄 duction of the algorithm given extraction system the self鄄renewal capacity , which make it better adapt to the practical application for the extraction of heterogeneous resources. The feasibility and efficiency of the algorithm in the prototype system was able to verify. Keywords摇 摇 Web information extraction,structural similarity,tree edit distance 热点。