基于分层结构保留的增量网络爬虫算法-计算机应用研究.PDFVIP

第３０卷第８期 计 算 机 应 用 研 究 Ｖｏｌ３０Ｎｏ８ ２０１３年８月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ａｕｇ２０１３ 基于分层结构保留的增量网络爬虫算法 １ａ，２ａ ３ ２ｂ ２ｂ １ｂ 胡廉民 ，张泽斌 ，徐威迪 ，黄　翰 ，李　英 （１．乐山师范学院ａ．物理与电子工程学院；ｂ．数学与信息科学学院，四川 乐山６１４０００；２．华南理工大学ａ．计 算机科学与工程学院；ｂ．软件学院，广州５１０００６；３．Ｏｒａｃｌｅ甲骨文研究开发中心（深圳）有限公司，广东深圳 ５１８０７５） 摘　要：为了提高目前爬虫算法抓取结果的有效性，提出了一种旨在获取有效信息的改进网络爬虫算法，主要 设计了信息的分层结构保留策略和ＵＲＬ过滤模式。在改进算法中，网络资源定位符被分层存储，在保留信息全 部拓扑关系的基础上，将交错复杂的ＵＲＬ网络系统从一个图结构变为一个层次分明的树结构。在执行结构模 式下，实现了增量爬虫算法。仿真实验以实际网站的ＢＢＳ为测试数据，结果表明，改进算法比现有网络爬虫算法 在爬行速度、下载效率与信息有效性等方面有较大的优势。因此，分层结构策略与ＵＲＬ过滤模式可以在增加少 量计算时间的前提下极大提高爬虫抓取页面的有效性。 关键词：网络爬虫；ＵＲＬ过滤器；层次结构保存；频率模型 中图分类号：ＴＰ３０１６　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１３）０８２３８１０５ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１３．０８．０３５ Ｉｍｐｒｏｖｅｄｃｒａｗｌｅｒａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｈｉｅｒａｒｃｈｉｃａｌｓｔｒｕｃｔｕｒｅｐｒｅｓｅｒｖａｔｉｏｎ １ａ，２ａ ３ ２ｂ ２ｂ １ｂ ＨＵＬｉａｎｍｉｎ ，ＺＨＡＮＧＺｅｂｉｎ，ＸＵＷｅｉｄｉ，ＨＵＡＮＧＨａｎ ，ＬＩＹｉｎｇ （１．ａ．Ｄｅｐｔ．ｏｆＰｈｙｓｉｃｓ＆ＥｌｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅｒｉｎｇ，ｂ．Ｄｅｐｔ．ｏｆＭａｔｈｓ＆ＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ，ＬｅｓｈａｎＴｅａｃｈｅｒｓＣｏｌｌｅｇｅ，ＬｅｓｈａｎＳｉｃｈｕａｎ６１４０００， Ｃｈｉｎａ；２．ａ．ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｅｎｇｉｎｅｅｒｉｎｇ，ｂ．ＣｏｌｌｅｇｅｏｆＳｏｆｔｗａｒｅＥｎｇｉｎｅｅｒｉｎｇ，ＳｏｕｔｈＣｈｉｎａＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｇｕａｎｇｚｈｏｕ ５１０００６，Ｃｈｉｎａ；３．ＯｒａｃｌｅＲｅｓｅａｒｃｈ＆ＤｅｖｅｌｏｐｍｅｎｔＣｅｎｔｅｒ（Ｓｈｅｎｚｈｅｎ）ＬｉｍｉｔｅｄＣｏｍｐａｎｙ，ＳｈｅｎｚｈｅｎＧｕａｎｇｄｏｎｇ５１８０７５，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：ＦｏｒｉｍｐｒｏｖｉｎｇｔｈｅｖａｌｉｄｉｔｙｏｆＷｅｂｐａｇｅｓｇｒａｂｂｅｄｂｙＷｅｂｃｒａｗｌｅｒａｌｇｏｒｉｔｈｍ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｎｉｍｐｒｏｖｅｄＷｅｂ ｃｒａｗｌｅｒａｌｇｏｒｉｔｈｍｔｏｏｂｔａｉｎｍｏｒｅｕｓｅｆｕｌｉｎｆｏｒｍａｔｉｏｎｂｙｄｅｓｉｇｎｉｎｇａｈｉｅｒａｒｃｈｉｃａｌｓｔｒｕｃｔｕｒｅｐｒｅｓｅｒｖａｔｉｏｎａｎｄＵＲＬｆｉｌｔｅｒｍｏｄｅ．Ｔｈｅ ｐｒｏｐｏｓｅｄａｌｇｏｒｉｔｈｍｓａｖｅｄｔｈｅｗｅｂｓｉｔｅＵＲＬｓｈｉｅｒａｒｃｈｉｃａｌｌｙｔｏｓｔｏｒｅｗｅｂｓｉｔｅｓｏｖｅｒａｌｌｔｏｐｏｌｏｇｙ，ｗｈｉｃｈｗｏｕｌｄｔｕｒｎｔｈｅｃｒｉｓｓｃｒｏｓｓ ｃｏｍｐｌｅｘＷｅｂＵＲＬｓｙｓｔｅｍｆｒｏｍａｇｒａｐｈｉｃｓｔｒｕｃｔｕｒｅｉｎｔｏａｔｒｅｅｓｔｒｕｃｔｕｒｅ．ＴｈｅａｃｔｕａｌｗｅｂｓｉｔｅＢＢＳｅｘｐｅｒｉｍｅｎｔｓｓｈｏｗｔｈａｔｔｈｅａｌ ｇｏｒｉｔｈｍｉｓｍｕｃ