【零基础学Python教案】第11章 网络爬虫 PPT课件.pptxVIP

零基础Python编程从入门到实战授课教师：xxxPython

网络爬虫第11章

目录CONTENTS网络爬虫概述01爬取网页02解析网页03实战——爬取PythonTab基础教程的数据04本章小结05

网络爬虫概述01

网络爬虫概述网络爬虫又称网络蜘蛛或网络机器人，是一个能够自动采集网络数据的程序。其核心功能是通过遍历互联网的链接节点（如网页、图片等），按照预设规则抓取目标信息。两类主要应用场景场景一：通用有哪些信誉好的足球投注网站引擎为Google、百度等有哪些信誉好的足球投注网站引擎全网抓取数据建立索引场景二：定向采集针对特定需求高效抓取结构化数据（如电商价格、论文文献、社交媒体评论等），通过聚焦爬虫技术过滤无关内容，提升数据质量

网络爬虫概述【步骤一】爬取网页：发送构造的HTTP请求，获取包含所需数据的HTTP响应（即网页源代码）。Python提供的爬取网页的库有urllib、requests、selenium等。【步骤二】解析网页：根据网页结构，分析?HTTP?响应的内容，从中提取想要的数据。Python提供的解析网页的库有re（正则表达式）、lxml、beautifulsoup4等。【步骤三】存储数据：将提取的数据保存起来以便后续使用。保存数据的方式有很多种，可以将其简单保存到?JSON、CSV?或?TXT?文件中，也可以保存到数据库中，如?MySQL?和MongoDB等。

爬取网页02

11.2.1requests库概述Requests是一个更便捷的第三方库，用于发送HTTP请求，是对Python内置库urllib的封装。操作简单功能强大安装便捷特点：

课堂讨论什么是URL？如何安装requests库？

11.2.2使用requests库1．发送HTTP请求get(url[,params=None,**kwargs])requests?库提供了几乎所有的?HTTP?请求方法，包括?GET、POST、HEAD、PUT、DELETE、CONNECT、OPTIONS?和?TRACE?等。其中，最常用的是?GET?方法和?POST?方法。平时打开网站一般使用的是GET方法，该方法通过get()函数实现，其函数原型如下：说明url是必传参数，表示请求的?URL；params?为可选参数，表示要添加到?URL?查询字符串中的一组参数，可以是字典、元组、列表或字节序列；**kwargs?为其他可选参数，表示控制访问的参数，如headers、cookies、timeout和proxies等。

11.2.2使用requests库2．获取HTTP响应的内容使用请求方法发送HTTP请求后，返回一个?Response?类型的对象，其提供的属性和方法如表所示。属性/方法说明status_code获取响应状态码，为整数，如200（连接成功）、404（连接失败）request.headers获取请求头url获取请求的URLencoding获取根据HTTP请求猜测的响应内容编码方式，可对其赋值更改编码方式apparent_encoding获取从响应内容分析出的编码方式content获取二进制类型的响应内容，会自动解码gzip和其他编码的响应内容text获取文本类型的响应内容raise_for_status()若是status_code不是200，则会抛出异常Response类型对象提供的属性和方法

11.2.2使用requests库2．获取HTTP响应的内容爬取豆瓣网内容实例实例位置：Chapter11\example031101.py爬取在豆瓣网站中有哪些信誉好的足球投注网站“Python”得到的内容，并输出响应的内容。在爬取网页的内容前，可以先查看和分析网页的?HTTP?请求和响应，获取构造请求的信息和响应的内容。使用GoogleChrome浏览器打开豆瓣网站有哪些信誉好的足球投注网站“Python”，查看?HTTP?请求和响应的过程如下。打开GoogleChrome浏览器，访问/。右击页面空白处，在弹出的快捷菜单中选择“检查”选项，打开浏览器的开发者工具窗口，然后选择“Network”选项。在打开的豆瓣网站中有哪些信誉好的足球投注网站“Python”关键词，即可在开发者工具窗口中显示请求记录（图见下页），其中每一条记录都代表一次发送请求和接收响应的过程。

11.2.2使用requests库2．获取HTTP响应的内容GoogleChrome浏览器显示HTTP请求记录

11.2.2使用requests库2．获取HTTP响应的内容在记录列表中，选择“search?q=python”选项，然后在其右侧打开的界面中选择“Headers”选项，即可显示HTTP请求和响应的详细信息，如图所示。HTTP请求和响应的详细信息

11.2.2使用requests库2．获取HTTP响应的内容说明HTTP?请