Deep Web数据源聚焦爬虫.pdf

1 7 o L3 4第7期o ． 7计 算 机 工 程Compu t e rEn ne e r i ng2 0 0 8年4月Apr il 2 0 08· 软件技术与数据库 ·文章编号：1 0 0 0 —3 4 2 8 ( 2 0 0 8 ) 0 7 — 0 0 5 6 — 一 l 3文献 标识码：A中图分类号：T P 3 1 1De e pWe b数据 源聚焦爬 虫林 超，赵朋朋，崔志明( 苏州大学智能信息处理及应用研究所，苏州 2 1 5 0 0 6 )摘 要：I n t e r n e t 上有大量页面是由后台数据库动态产生的，这部分页面不能通过传统的有哪些信誉好的足球投注网站引擎访问，被称为 De e pWe b 。数据源发现是大规模D e e pWe b数据源集成的关键步骤。 该文提出一种针对D e e pWe b 数据源的聚焦爬行算法。 在评价链接重要性时， 综合考虑了页面与主题的相关性和链接相关信息。实验证明该方法是有效的。关键词：De e pWe b数据源；聚焦爬虫；贝叶斯分类器De e pW e bSo ur c e sFo c us e dCr a wl e rLI N Cha o， ZHAO Pe ng - pe ng，CUIZhi - r ui ng( I n s t i t u t eo fI n t e l l i g e n tI n f o r ma t i o nP r o c e s s i n ga n dAp p l i c a t i o n ， S u z h o uUn i v e r s i t y ， S u z h o u2 1 5 0 0 6 )[ Ab s t r a c t IA l o to fp a g e so nI n t e r n e ta r eg e n e r a t e dd y n a mi c a l l yb yt h eb a c k - e n dd a t a b a s e s ， w h i c hC a n n o tb er e a c h e db yt h et r a d i t i o n a ls e a r c he n g i ne sc a l l e dDe e pWe b． Th i sp a pe rp r o p o s e sa na l g o r i t h m o fDe e pWe bs o u r c e sf o c u s e dc r a wl i n g ． Wh e ne v a l u a t i n gt hei mp o r t a n c eo fh y pe r l i n ks ，i tt a k e si n t oc o n s i d e r a t i o nr e l e v a n c ea mo n gp a g e ， t o p i c ， a n dl i n k - r e l a t e di n f o r ma t i o n ． Ex p e r i me n t si n d i c a t et h a tt h i sme t h o di se f f e c t i v e ．[ Ke yw o r d s ID e e pWe bs o u r t e s ； f o c u s e dc r a wl e r ； Ba y e sc l a s s i f i e r近几年，We b正在迅速地 “ 深化”l J。l n t e r n e t 上有大量页面是由后台数据库动态产生的，这部分信息不能直接通过静态链接获取，只能通过填写表单提交查询来获取。由于传统的爬虫( c r a w l e r ) 不具有填写表单的能力，爬不出这些页面。因此，现有的有哪些信誉好的足球投注网站引擎有哪些信誉好的足球投注网站不到这部分页面信息，从而导致这部分信息对用户是隐藏和不可见的，称之为 D e e pWe b ( 又称为 I n v i s i b l eWe b ， Hi d d e nWe b ) 。研究表明，网络上至少有4 30 0 0 9 60 0 0个 De e pWe b站点，D e e pWe b页面信息是S u r f a c eWe b信息的5 5 0倍 。实现大规模 De e pWe b数据源集成是方便用户使用 D e e pWe b信息的一个有效途径。大规模 D e e pWe b数据源集成包括：数据源发现，查询接 口抽取，数据源分类，查询转换，结果合成 5个关键问题。其中，数