如何利用大众点评爬虫获取大众点评中的数据.docx

如何利用大众点评爬虫获取大众点评中的数据用八爪鱼采集器，可以完整采集大众点评网的数据。八爪鱼采集器可以通过点击点评网上的下一页按钮建立翻页循环，通过商家信息区块（或商家链接）建立列表循环，采集页面内公开的商家数据信息。数据采集完成之后，可以通过excel、csv、HTML、数据库等格式导出来，并通过微图进行可视化展示。本文介绍使用八爪鱼7.0采集大众点评商家团购评价数据的方法采集网站：/deal例规则下载：/deal用功能点：Ajax滚动加载设置Ajax翻页设置分页列表内容提取步骤1：创建采集任务进入主界面选择，选择自定义模式大众点评爬虫获取大众点评中的数据图12）将上面网址的网址复制粘贴到网站输入框中，点击“保存网址”大众点评爬虫获取大众点评中的数据图23）保存网址后，页面将在八爪鱼采集器中打开，红色方框中的信息是这次演示要采集的内容大众点评爬虫获取大众点评中的数据图3步骤2：设置ajax页面加载时间设置打开网页步骤的ajax滚动加载时间找到翻页按钮，设置翻页循环设置翻页步骤ajax延时时间1）在页面打开后，当下拉页面时，会发现页面有新的数据在进行加载所以需要进行以下设置：打开流程图，点击“打开网页”步骤，在右侧的高级选项框中，勾选“页面加载完成向下滚动”，设置滚动次数，每次滚动间隔时间，一般设置2秒，这个页面的滚动方式，选择直接滚动到底部；最后点击确定大众点评爬虫获取大众点评中的数据图4注意：这里的滚动次数及间隔需要针对网站进行设置，测试方法可以参考八爪鱼7.0教程——AJAX滚动教程2）将页面下拉到底部，找到下一页按钮，鼠标点击，在右侧操作提示框中，选择“循环点击下一页”大众点评爬虫获取大众点评中的数据图5由于页面使用了ajax加载技术，当需要对翻页步骤设置ajax延时加载（ajax判断方法：打开流程图，找到翻页循环框，手动执行翻页，看网站有没有进行加载）在右侧的高级选项框中，勾选Ajax加载数据，选择合适的超时时间，一般设置2秒；最后点击确定大众点评爬虫获取大众点评中的数据图6步骤3：评价信息采集选中需要采集的字段信息，创建采集列表编辑采集字段名称1）如图，移动鼠标选中列表中评价的名称，右键点击，需采集的内容会变成绿色大众点评爬虫获取大众点评中的数据图72）移动鼠标选中红色方框里任意文本字段后，列表中所有适配内容会变成绿色，在右侧操作提示框中，查看提取的字段，可以将不需要的字段删除，然后点击“选中全部”大众点评爬虫获取大众点评中的数据图8注意：?鼠标放在提示框中的字段上会出现一个删除标识，点击即可删除该字段。大众点评爬虫获取大众点评中的数据图93）点击“采集以下数据”大众点评爬虫获取大众点评中的数据图104）修改采集字段名，并点击下方提示中的“保存并开始采集”大众点评爬虫获取大众点评中的数据图11步骤4：数据采集及导出1）根据采集的情况选择合适的采集方式，这里选择“启动本地采集”大众点评爬虫获取大众点评中的数据图12说明：本地采集占用当前电脑资源进行采集，如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能，云采集在网络中进行采集，无需当前电脑支持，电脑可以关机，可以设置多个云节点分摊任务，10个节点相当于10台电脑分配任务帮你采集，速度降低为原来的十分之一；采集到的数据可以在云上保存三个月，可以随时进行导出操作。2）采集完成后，会跳出提示，选择导出数据大众点评爬虫获取大众点评中的数据图133）采集完成后，选择合适的导出方式，将采集好的数据导出大众点评爬虫获取大众点评中的数据图14相关采集教程：百度有哪些信誉好的足球投注网站结果采集美团商家信息采集百姓网商家采集八爪鱼——70万用户选择的网页数据采集器。1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。3、云采集，关机也可以。配置好采集任务后可关机，任务可在云端执行。庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。4、功能免费+增值服务，可按需选择。免费版具备所有功能，能够满足用户的基本采集需求。同时设置了一些增值服务（如私有云），满足高端付费企业用户的需要。八爪鱼·云采集服务平台