网络爬虫课件.pptVIP

7.4 正则表达式 7.4.3 正则表达式的常用函数介绍 第七章 网络爬虫 例如：下面的正则表达式定义从 s 中匹配出 ip 地址的内容。 import re s=ipddresselse m1=re.search(r(([01]{0,1}\d{0,1}\d|25[0-5])\.){3}([01]{0,1}\d{0,1}\d|2[0- 4]\d|25[0-5]),s) print(m1.group()) # 输出 str=span class=td td-2nda href=/air/nanchang.html target=_blank 南昌市 /a/spanspan class=td td- 4rd17/spanspan class=td td-4rdem class=f1 style=color:#79b800 优 /em/spanspan class=td td-2nda href=/air/nanchang.html target=_blank 武汉市 /a/spanspan class=td td-4rd17/spanspan class=td td-4rdem class=f1 style=color:#79b800 优 /em/span re.findall(r\_blank\(.{1,}?)/a,str) # 匹配出所有的城市名 [ 南昌市 , 武汉市 ] 31 of 31 7.4 正则表达式 7.4.3 正则表达式的常用函数介绍 第七章 网络爬虫 【案例】爬取解析并保存天堂图片网的小黄人图片 import requests import re # 爬取天堂图片网小黄人图片网页源码 url = /tupian/xiaohuangren_t21343/ data = requests.get(url).text # 小黄人图片的超链接格式 #img src=/img/tupian/t/201411/01/xiaohuangren- 009.jpg width=135 height=135 alt= 卑鄙的我小黄人图片 regex = rimg src=\(.*?.jpg)\ # 取出小黄人图片网址 pa = pile(regex) # 转为 pattern 对象 ma = re.findall(pa, data) print( 本次爬取共获取图片 +str(len(ma))+ 张 ) # 列表长度，即找到图片个数 i = 0 for imgurl in ma: i += 1 print( 正在爬取 +imgurl) imgdata = requests.get(imgurl).content with open(str(i)+.jpg, wb) as f: f.write(imgdata) print( 爬取完毕！ ) 32 of 31 7.4 正则表达式 7.4.3 正则表达式的常用函数介绍 输出结果： 第七章 网络爬虫 33 of 31 高级大数据人才培养丛书 第七章 7.1 7.2 网络爬虫 网络爬虫工作的基本原理 网页内容获取 -requests 库概述 7.3 7.4 7.5 7.6 7.7 习题 网页内容解析 -Beautiful Soup 库 正则表达式 实战：热门电影有哪些信誉好的足球投注网站 实战：大数据论文文章标题采集 实战：全国空气质量 34 of 56 7.5 实战：热门电影有哪些信誉好的足球投注网站 第七章 网络爬虫 【案例】有哪些信誉好的足球投注网站 2345 电影网站上，排名前 50 的电影排行榜，列出电影名称、上映时间、 演员、简介，并保存电影海报图片到文件中 import requests from bs4 import BeautifulSoup def getHtml(url): try: r = requests.get(url,timeout = 30) r.raise_for_status() r.encoding = gbk return r.text except: return 35 of 31 7.5 实战：热门电影有哪些信誉好的足球投注网站 第七章 网络爬虫 def saveInfo(html): soup=BeautifulSoup(html,html.parser) move_ls = soup.find(ul,class_=picList clearfix) movies = move_ls.find_all(li) for top in movies: img_url = top.find(img)[src]# 查找所有的图片链接 name = top.find(span,class_=sTit).get_text() # 得到电影名称 try: tim