目录-2.2 数据清洗技术 2.1 数据采集技术爬虫与 API 2.3 数据去重与标准化-1761013855557.pptxVIP

目录项目实训订单数据采集与清洗标准化实训2.2数据清洗技术2.1数据采集技术（爬虫与API）2.3数据去重与标准化

学生能够理解网页数据采集与API接口获取数据的原理和区别。掌握主流数据采集工具的基本用法与适用场景学生能够识别常见的脏数据问题，理解清洗操作在数据分析前的重要性。掌握缺失值、异常值处理的基本方法与处理策略学习目标学生能够理解数据去重的技术原理和标准化处理的基本概念。掌握常见的去重策略与标准化方式在数据一致性中的应用

2.1数据采集技术（爬虫与API）

4012.1.1数据采集的基本方式什么是数据采集数据采集是指从外部信息源（网页、接口、文件等）获取结构化或非结构化数据的过程，是数据处理链条的起点。为什么要学数据采集获取实时、多样的第一手数据适应不同业务数据来源是数据分析、智能决策的基础

5012.1.1数据采集的基本方式常见采集方式对比方式类型描述应用场景静态网页爬取从HTML页面中提取标签结构中可见的静态数据新闻网站、商品目录页等动态网页爬取通过JS渲染后再加载的数据，需要模拟浏览器行为获取AJAX请求数据、分页加载页面开放API调用调用平台提供的HTTP接口，获取JSON、XML等标准格式数据天气接口、翻译API、金融行情等

6012.1.2常用采集工具与框架介绍采集工具requests：发送HTTP请求，快速抓取静态页面BeautifulSoup：解析HTML内容并提取标签Selenium：模拟浏览器操作，处理动态网页（JS渲染）openapi/Swagger工具：文档化的API说明平台，用于结构化数据接口调用选择合适工具不同页面结构、请求方式和数据展示方式决定了应使用不同采集工具，提升采集效率与成功率。

7012.1.2常用采集工具与框架介绍常用工具功能对比表工具功能定位优点使用难度requests静态网页请求轻量、高效低BeautifulSoupHTML标签解析操作直观、代码简洁低Selenium模拟浏览器执行JS、表单操作动态加载处理强中openapi工具标准化API文档与交互统一接口文档，便于理解与测试低

8012.1.3采集过程中的常见问题与解决策略常见问题1.反爬虫机制?如User-Agent限制、IP封禁、JS验证、验证码2.数据授权与隐私?API访问权限、Token、访问频率限制3.数据格式解析难?动态HTML渲染、嵌套结构、非标准JSON数据问题影响直接阻碍数据采集成功率可能引发法律或合规风险增加采集逻辑复杂度

9012.1.3采集过程中的常见问题与解决策略常用解决策略问题类型应对方法IP被封禁使用代理IP池、限制访问频率、设置时间间隔JS渲染数据使用Selenium或抓取其AJAX数据源API限频加入Token验证，遵守平台规范标签复杂利用XPath或CSS选择器精准提取

10012.1.4实操案例：使用requests+BeautifulSoup进行网页采集示例目标采集网站：目标任务：获取前3页名人名言、作者信息、标签文件与准备?数据文件：无（在线采集）?Python脚本文件名：quotes_scraper.py?所需库：requests、bs4安装依赖：pipinstallrequestsbeautifulsoup4

11012.1.4实操案例：使用requests+BeautifulSoup进行网页采集Python脚本（含详细中文注释）#文件名：quotes_scraper.py#功能：爬取前3页的名言、作者与标签信息importrequestsfrombs4importBeautifulSoup#定义基础URLbase_url=/page/#遍历前3页forpageinrange(1,4):url=base_url+str(page)print(f\n正在抓取第{page}页：{url})#发送GET请求并获取响应内容response=requests.get(url)#判断响应状态码是否成功ifresponse.status_code!=200:print(请求失败，跳过该页)continue#使用BeautifulSoup解析HTML页面soup=BeautifulSoup(response.text,html.parser)#提取每一条名言区域quotes=soup.find_all(div,class_=quote)#遍历