论网络爬虫有哪些信誉好的足球投注网站策略.pdf

第2期(总第9l期) 山西广播电视大学学报 No．2 垫!!生鱼旦 』!!婴垒!!!曼堕璺坠i型i!鱼．旦望坐霎堡————————————些坠垒!!兰 ，i囊毫_jj0蔓|≥毒0。H． 攀攀鬻攀!鎏攀攀参豢善篆誊；_=|_≤≥。j≥；i≤：_!|_j叠j口李耀华‘，杨海燕2≯_|{薯i≤篆攀霎≥i≤；誊参，誊|． 鬻!豢；攀纂攀鬻誉≤渗若啦；2．山云黪攀攀鬻攀鬻蘩； 摘要：以何种策略来访问web资源是有哪些信誉好的足球投注网站引擎研究的热点之一。通过比较通用有哪些信誉好的足球投注网站引擎和专业搜 索引擎的有哪些信誉好的足球投注网站策略，针对“最好策略”的几种策略方案进行了优缺点的分析，总结了关于提高网络爬 网络爬虫是有哪些信誉好的足球投注网站引擎的重要组成部分。有哪些信誉好的足球投注网站引擎借助于 然后访问提取出的连接所对应的网页，如此不断重复便可遍 网络爬虫才能在互联网海量数据中有效搜集到相关的网页信 历整个网络信息，直到满足系统的一定停止条件。其中，种子 息。如何提高网络爬虫的有哪些信誉好的足球投注网站效率，是该领域研究的热点。 集指种子链接集合，通常为几个知名网站主页连接地址。工 本文将分别对目前常用的网络爬虫的有哪些信誉好的足球投注网站策略进行初步分析 作流程如图1所示。 研究。 但通用爬虫有哪些信誉好的足球投注网站有以下几方面 一、网络爬虫基本工作原理 不足： 网络爬虫Web Crawler或者Robot，是一 (1)因为抓取的目标是覆 Spider又叫Web 个沿着链接漫游web文档集合的程序。它一般驻留在服务器 盖尽可能大的网络，所以爬行 上，并且利用标准的http协议根据超链接和web文档检索的 的结果中必然会包含大量用户 方法遍历整个Intemet网信息进行有哪些信誉好的足球投注网站。 不需要的网页； (一)一络爬虫曲基本结构。传统的网络爬虫包括一个 (2)无法很好地有哪些信誉好的足球投注网站和获 ResourceLo- 取信息含量密集而且具有一定 协议处理模块。URL(统一资源定位符，Uniform eator的缩写，也被称为网页地址，是因特网上标准的资源的地 结构的数据； 址。它最初是由TimBemers—Lee发明用来作为万维网的地 (3)通用有哪些信誉好的足球投注网站引擎大多是 址的)由两部分构成：协议模块和检测模块。其中，协议模块 基于关键字的检索，对于支持 用来提供网络爬虫所需的网络协议，解决如何获取网页；检测 语义信息的查询和索引擎智能 模块负责对采集的URL信息进行排序，处理网络上重复内 化的要求则难以实现。 容，以提高网络爬虫的有哪些信誉好的足球投注网站效率。 图1通用网络爬虫工作流程图 由此，通用爬虫想在爬行 (二)一络爬虫的工作流程。网络爬虫也是一个自动提 网页时，既保证网页的质量和数量，又要保证网页的时效性是 取网页的程序，是有哪些信誉好的足球投注网站引擎的重要组成部分，其作用是为有哪些信誉好的足球投注网站 很难实现的。 引擎从Intemet网上下载页面。网络爬虫在获取网络信息时， (三)一络爬虫的有哪些信誉好的足球投注网站策鼍。为提高网络爬虫的有哪些信誉好的足球投注网站效 通常会从一个“种子集”出发，获得初始网页上的URL，下载 率，网络爬虫需要在既定时间内有哪些信誉好的足球投注网站到尽可能多的高质量网 页面并提取已下载页面中的连接，抽取新的URL放入队列， 页。这是其面临的主要技术难题。 一般而言，有五种方式表示页面质量的高低：Similarity 收藕日期：2013—Ol—2ID 主要作者简介：李耀华(1962一)，男，河北定州人，山西大学继续教育