Python数据分析与应用 课件 第6章 Python网络爬虫.ppt

********第9章文件*第9章文件第6章Python网络爬虫《Python数据分析与应用》网络爬虫网络爬虫(WebSpider)，又被称为网页蜘蛛或网络机器人，通过一定的规则自动地抓取网络信息。网络爬虫就是根据网址获取网页信息。例如，当输入网址：/，浏览器向DNS服务器发出请求，经过解析，将发送给浏览器的HTML、JS、CSS等文件解析出来，便成了百度内容。爬虫流程爬取Python提供了requests等库实现HTTP请求操作，获取网页的源代码。Requests方法解释requests.get()获取html的主要方法requests.head()获取html头部信息的主要方法requests.post()向html网页提交post请求的方法requests.put()向html网页提交put请求的方法requests.patch()向html提交局部修改的请求requests.delete()向html提交删除请求Requestsimportrequestsr=requests.get(url=http://www……)#GET请求print(r.status_code)#获取返回状态print(r.url)print(r.text)#打印解码后的返回数据解析从网页源代码中提取有用的信息。方法1：采用正则表达式提取，但是在构造正则表达式时比较复杂且容易出错。方法2：由于网页的结构有一定的规则，可以利用BeautifulSoup、pyquery、lxml等库提取网页节点属性、CSS选择器等网页信息。存储将提取到的数据保存到某处以便后续处理和分析，可以保存为TXT文本或JSON文本，也可以保存到MySQL和MongoDB等数据库。正则表达式正则表达式，又称正规表示法、常规表示法，是指通过事先定义好的特定字符（“元字符”）组成的“规则字符串”，对字符串进行过滤逻辑。凡是符合规则的字符串，认为“匹配”，否则，不“匹配”。正则表达式采用正则表达式判断一个字符串是否包含合法的Email，需要创建一个匹配Email的正则表达式，然后通过该正则表达式去判断。正则表达式元字符含义输入输出.匹配任意字符?a.cAbc^匹配开始位置^abcAbc$匹配结束位置abc$Abc*?匹配前一个元字符0到多次abc*ab;abccc+匹配前一个元字符1到多次abc+abc;abccc?匹配前一个元字符0到1次abc?ab;abcre模块fIndall()compile()match()search()replace()split()Python中的re模块提供了一个正则表达式引擎接口，允许将正则表达式编译成模式对象，通过这些模式对象执行模式匹配有哪些信誉好的足球投注网站和字符串分割、子串替换等操作。Findall（）importrep=pile(r\d+)print(p.findall(o1n2m3k4))[1,2,3,4]search（）importrea=123abc456print(re.search(([0-9]*)([a-z]*)([0-9]*),a).group(0))123abc456print(re.search(([0-9]*)([a-z]*)([0-9]*),a).group(1))123print(re.search(([0-9]*)([a-z]*)([0-9]*),a).group(2))abcprint(re.search(([0-9]*)([a-z]*)([0-9]*),a).group(3))456Match()importreprint(re.match(www,).span())#在起始位置匹配(0,3)print(re.match(com,))#不在起始位置匹配Nonesplit()1）只传一个参数，默认分割整个字符串str=a,b,c,d,e;str.sp