《人工智能》Focused-crawler.pdf

Focused Crawler Topic Crawler 主题爬虫 Start Here 何晓楠、彭升辉、刘静 NLSDE, Beihang University Dec 20th, 2012 Beihang University 一分钟内 微博 Twitter 上新収的数据数 超过10万 社交网络 Facebook 的浏览量 超过600万 Google宣称索引的网页数目已超过10000亿 中国的网页规模超过100亿 …… Beihang University Next page “这是一场革命，庞大的数据资源使得各个领域开始了量化迚程，无论学术 界、商界还是政府，所有领域都将开始这种迚程。” ——哈佛大学社会学教授 加里·金 Beihang University Next page Big Data 大数据时代 Beihang University Next page 有哪些信誉好的足球投注网站引擎 Beihang University Next page Web Beihang University Next page 第一步：爬行 有哪些信誉好的足球投注网站引擎是通过一种特定规律的软件跟踪网页的链接，从一个链接爬 到另外一个链接，像蜘蛛在蜘蛛网上爬行一样，所以被称为“蜘蛛”也被 称为“机器人”。 Beihang University Next page 第二步：抓取存储 有哪些信誉好的足球投注网站引擎是通过蜘蛛跟踪链接爬行到网页，并将爬行的数据存 入原始页面数据库。 第三步：预处理 有哪些信誉好的足球投注网站引擎将蜘蛛抓取回来的页面，进行各种步骤的预处理。 提取文字、中文分词、去停词、消除噪音、去重、正向索引、 倒排索引、链接关系计算、特殊文件处理 第四步：排序 Beihang University Next page 网络爬虫 » 1 ）人工给定一个URL作为入口，从这里开始爬叏。 » 2 ）用运行队列和完成队列来保存丌同状态的链接。 » 3 ）线程从运行队列读叏队首URL ，若存在，则继续执行，反乊则停止爬叏。 » 4 ）每处理完一个URL ，将其放入完成队列，防止重复访问。 » 5 ）每次抓叏网页乊后分析其中的URL （URL是字符串形式，功能类似指针）， 将经过过滤的合法链接写入运行队列，等待提叏。 » 6 ）重复步骤 3 ）、4 ）、5 ）。 Beihang University Next page A Simplest Web Crawler