Gevent学习之爬虫与多线程.pdfVIP

在线学习好工作 / Gevent 学习之爬虫与多线程 gevent 实现爬虫并与普通多线程比较 1.爬虫目的与思路简介； 2.gevent 实现爬虫； 3.多线程实现爬虫； 4.对比。 爬虫目的与设计 1.从一个主页爬取相关链接； 2. 比如麦子学院主站； 3. ； 4.从此网站爬取内容，分析过滤有效的不重复的网址（不包含图片，视频等资 源地址）； 5.但是为了控制结束条件，可以设置爬虫深入和总数目，并可以适当控制并发 度。 gevent 实现爬虫 主要利用greenlet 来执行具体爬虫操作，pool 来控制并发度。 代码实例： #!/usr/bin/env python #-*- coding: utf-8 -*- import re import urllib import urlparse from pyquery import PyQuery class HtmlAnalyzer(object): @staticmethod def detectCharSet(html): pq = PyQuery(html) metas = pq(head)(meta) for meta in metas: for key in meta.keys(): if key == charset: charset = meta.get(charset) return charset elif key == content: try: content = meta.get(content) p = re.match(r.+charset=(.*)\W*, content) charset = p.group(1) return charset except: continue @staticmethod def extractLinks(html, baseurl, charset): def _extract(url, attr): link = url.attrib[attr] link = link.strip(/ ).strip(\\) if link is None: raise link = urlparse.urljoin(baseurl, link) link = urlparse.urldefrag(link)[0] try: link = urllib.quote(link, :?=+#/@) except (UnicodeDecodeError, KeyError): try: link = urllib.quote(link.encode(charset), :?=+#/@) except: pass return link def _isValidLink(url): try: return all([UrlFilter.checkScheme(url), UrlFilter.checkInvalidChar(url), UrlFilter.checkInvalidExtention(url) ]) except: return False pq = PyQuery(html) allLinks = [] for url in pq(a): try: link = _extract(url, href) except: continue if _isValidLink(link): allLinks.append(link) for url in pq(form): try: link = _extract(url, action) except: continue if _isValidLink(link): allLinks.append(link) return allLinks class UrlFilter(object): invalid_chars = {\: None, \: None, \\: None, : None, \n: None, \r: None, +: None } invalid_extention = { jpg: None, gif: None, bmp: None, jpeg: None, png: None, swf: None, mp3: None, wma: None,