网络爬虫技术的概述与研究.docVIP

网络爬虫技术的概述与研究 摘要 网络爬虫，又被称为网页蜘蛛，网络机器人，随着网络的迅速发展，成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。 (Search Engine)，例如传统的AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问的入口和指南。但是，这些通用性有哪些信誉好的足球投注网站引擎也存在着一定的局限性为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。(或称为服务方式)。 ·第二部分是存有该资源的主机IP地址(有时也包括端口号)。 ·第三部分是主机资源的具体地址，如目录和文件名等。 第一部分和第二部分用“://”符号隔开，第二部分和第三部分用“/”符号隔开。第一部分和第二部分是不可缺少的，第三部分有时可以省略。 用URL表示文件时，服务器方式用file表示，后面要有主机IP地址、文件的存取路径(即目录)和文件名等信息。有时可以省略目录和文件名，但“/”符号不能省略。例如file:///pub/files/foobar.txt 爬虫最主要的处理对象就是URL，它根据URL地址取得所需要的文件内容，然后对它进行进一步的处理。 2、传统爬虫与聚焦爬虫 网络爬虫是一个自动提取网页的程序，它为有哪些信誉好的足球投注网站引擎从web上下载网页，是有哪些信誉好的足球投注网站引擎的重要组成。 传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。有哪些信誉好的足球投注网站引擎是基于传统爬虫技术建立的，但其存在着一定的局限性，例如：(1) 不同领域、不同背景的用户往往具有不同的检索目的和需求，通用有哪些信誉好的足球投注网站引擎所返回的结果包含大量用户不关心的网页。 (2)通用有哪些信誉好的足球投注网站引擎的目标是尽可能大的网络覆盖率，有限的有哪些信誉好的足球投注网站引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。 (3)万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用有哪些信誉好的足球投注网站引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。 (4)通用有哪些信誉好的足球投注网站引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。 在网络爬虫的系统框架中，主过程由控制器，解析器，资源库三部分组成。控制器的主要工作是负责给多线程中的各个爬虫线程分配工作任务。解析器的主要工作是下载网页，进行页面的处理，主要是将一些JS脚本标签、CSS代码内容、空格字符、HTML标签等内容处理掉，爬虫的基本工作是由解析器完成。资源库是用来存放下载到的网页资源，一般都采用大型的数据库存储，如Oracle数据库，并对其建立索引。网页的抓取策略可以分为深度优先、广度优先和最佳优先三种。深度优先在很多情况下会导致爬虫的陷入(trapped)问题，目前常见的是广度优先和最佳优先方法。广度优先有哪些信誉好的足球投注网站策略是指在抓取过程中，在完成当前层次的有哪些信誉好的足球投注网站后，才进行下一层次的有哪些信誉好的足球投注网站。该算法的设计和实现相对简单。在目前为覆盖尽可能多的网页，一般使用广度优先有哪些信誉好的足球投注网站方法。也有很多研究将广度优先有哪些信誉好的足球投注网站策略应用于聚焦爬虫中。其基本思想是认为与初始URL在一定链接距离内的网页具有主题相关性的概率很大。另外一种方法是将广度优先有哪些信誉好的足球投注网站与网页过滤技术结合使用，先用广度优先策略抓取网页，再将其中无关的网页过滤掉。这些方法的缺点在于，随着抓取网页的增多，大量的无关网页将被下载并过滤，算法的效率将变低。最佳优先有哪些信誉好的足球投注网站策略按照一定的网页分析算法，预测候选URL与目标网页的相似度，或与主题的相关性，并选取评价最好的一个或几个URL进行抓取。它只访问经过网页分析算法预测为“有用”的网页。存在的一个问题是，在爬虫抓取上的很多相关网页可能被忽略，因为最佳优先策略是一种局部最优有哪些信誉好的足球投注网站算法。因此需要将最佳优先结合具体的应用进行改进，以跳出局部最优点。将在第4节中结合网页分析算法作具体的讨论。研究表明，这样的闭环调整可以将无关网页数量降低30%~90%。深度优先有哪些信誉好的足球投注网站策略从起始网页开始，选择一个URL进入，分析这个网页中的URL，选择一个再进入。如此一个链接一个链接地抓取下去，直到处理完一条路线之后再处理下一条路线。深度优先策略设计较为简单。然而门户网站提供的链接往往最具价值，PageRank也很高，但每深入一层，网页价值和PageRank都会相应地有所下降。这暗示了重要网页通常距离种子较近，而过度深入抓取到的网页却价值很低。同时，这种策略抓取深度直接影响着抓取命中率以及抓取效率，对抓取深度是该种策略的关键。相对于其他两种策略而言。此种策略很少被使用。 网页分析算法可以归纳为基于网络拓扑、基于网页内容和基于用户访问行为三种类型。