中文信息学报基于特征串的大规模中文网页快速去重算法研究.PDFVIP

中　文 　信 　息 　学 　报 第 17 卷 第 2 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol 17 No2 文章编号 :1003 - 0077 (2003) 02 - 0028 - 08 基于特征串的大规模中文网页快速去重算法研究 吴平博 ,陈群秀 ,马 　亮 ( 智能技术与系统国家重点实验室 ,清华大学计算机科学与技术系 ,北京 　100084) 摘要 : 网页检索结果中 ,用户经常会得到内容相同的冗余页面 ,其中大量是由于网站之间的转载造成 。它 们不但浪费了存储资源 ,并给用户的检索带来诸多不便 。本文依据冗余网页的特点引入模糊匹配的思想 ,利 用网页文本的内容 、结构信息 ,提出了基于特征串的中文网页的快速去重算法 , 同时对算法进行了优化处理 。 实验结果表明该算法是有效的 ,大规模开放测试的重复网页召回率达 97 3 % ,去重正确率达 995 % 。 关键词 :计算机应用 ; 中文信息处理 ;特征串;模糊匹配 ;去重算法 ;冗余网页 中图分类号 : TP39 1 　　　文献标识码 :A The Study on Large Scale Dupl icated Web Pages of Chinese Fast Deletion Algorithm Based on String of Feature Code WU Pingbo 　CHEN Qunxiu 　MA Liang ( The State Key Laboratory of Intelligent Technology and System , Depart ment of Computer Science and Technology , Tsinghua Univer sit y ,Beijing 　100084 ,China) Abstract :Reprinting of information between websites produces a great deal redundant web p ages t hat not only waste storage resource but also bring many burdens to user in retrieval and reading. In t his p ap er string of feature code based algorit hm is develop ed to remove t he duplicated web p age after analyzing t he feature of t he redundant web p age . The idea of fuzzy matching and information of content and structure of t he text of web p age are introduced into t he algorit hm ,and t he efficiency of t he algorit hm is optimized . The exp eriment result s show t hat t he algorit hm is ef fective. The recall rate of duplicated web p ages reaches 97 . 3 % ,and t he precision rate of t he duplication removal reaches 99 . 5 % in large scale testing. Key words :computer application ;