北大 internet高级程序设计 lecture9.pdf

Lecture-9 爬虫的设计与实现爬虫的设计与实现 爬虫的设计与实现爬虫的设计与实现 lisuke@ 参考参考 参考参考 本讲义参考了本讲义参考了 本讲义参考了本讲义参考了 – Stanford大学讲义 – 其他大学老师的讲义 – 表示感谢 ！ Page 2 Web 网页收集 Q: 有哪些信誉好的足球投注网站引擎如何 知道包括查询关 键字的网页的呢 ？ A: 因为所有这些 网页都已经被下 载 了. Page 4 starting pages (seeds) 爬虫爬虫 爬虫爬虫 (Crawler): 的基本思想的基本思想 的基本思想的基本思想 Page 5 有许多名字有许多名字 有许多名字有许多名字 Crawler Spider Robot (or bot) Web agent Wanderer, worm, … And famous instances: googlebot, scooter, slurp, msnbot, … Page 6 Google的爬虫的爬虫Googlebot 的爬虫的爬虫 Page 7 爬虫的分类爬虫的分类 爬虫的分类爬虫的分类 Crawlers Universal crawlers Preferential crawlers Focused crawlers Topical crawlers Adaptive topical crawlers Static crawlers Evolutionary crawlers Reinforcement learning crawlersBest-first PageRank etc... etc... 许多关键的技术使用许多关键的技术使用：：: 许多关键的技术使用许多关键的技术使用：： – 增量、交互、并发 （并行）等. Page 8 Focused crawler A focused crawler or topical crawler is a web crawler that attempts to download only web pages that are relevant to a pre-defined topic or set of topics. Topical crawling generally assumes that only the topic is given, while fo