爬虫学习心得要领.pptxVIP

爬虫学习心得;原来的代码有几点我们要改的;;这个就是多IP爬虫，一个IP很容易就被发现并禁止;这个就是多客户端爬虫，单一个的客户端很容易被发现并禁掉;;;? import socket套接字套接字是为特定网络协议（例如TCP/IP，ICMP/IP，UDP/IP等）套件对上的网络应用程序提供者提供当前可移植标准的对象。它们允许程序接受并进行连接，如发送和接受数据。为了建立通信通道，网络通信的每个端点拥有一个套接字对象极为重要。 Python中的random模块用于生成随机数。 ? import user_agents 这个比较特殊，是人为定义的库，这个库存储了许多IP或是对点评网的访问方式，目的就是随机选一个IP访问以避免网站对单一IP登陆的封杀。 ;timeout = 60 socket.setdefaulttimeout(timeout) ? #设置 HTTP 或 Socket 访问超时，来防止爬虫抓取某个页面时间过长。(这个时间用秒 #来算) def get_status(url): r = requests.get(url, allow_redirects = False) # allow_redirects = False不允许间接地访问，用request库中的get函数来抓取URL return r.status_code ;; page = urllib2.urlopen(req) content = page.read() page.close() return content #正常的话就用content来保存读出的结果并且一定要关闭文件并返回content except UnicodeDecodeError as e: print(UnicodeDecodeError url:,url) return #解码错误则输出并返回空 except urllib2.HTTPError as e: print(HTTPError url:,url) return #网站禁止爬虫则输出并返回空 except socket.timeout as e: print(socket timout:,url) return ;#抓取超时则输出并返回空 except urllib2.URLError, e: if hasattr(e, reason): print Failed to reach a server. print Reason: , e.reason return elif hasattr(e, code): #elif相当于else if print The server couldn\t fulfill the request. print Error code: , e.code return except Exception, e: if DEBUG: print e return # if DEBUG 如果出错了 print e return ;#获取店铺的url def get_shopurl(url): content = content_get(url) #寻找店铺的实际url,例如/shop/6123204,用正则表达式 #find_shopurl = pile(rul class=detail\s*li class=shopname\s*a href=(.*?) class=BL title=.*?/a,re.DOTALL) find_shopurl = pile(rul class=detail\s*li class=shopname\s*a href=(.*?) class=BL[ ]*title=*,re.DOTALL) result = find_shopurl.findall(content) return result;关于get_shopurl(url):;;;;;补充;;;;;他山之石;;;可以看到url的信息存储在span标签中，要获取其中的信息可以用正则式。;;;