如何爬取大众点评网上的商家信息(有栗子、附代码).docxVIP

下图是12年到16年黄焖鸡米饭的门店数随时间的增长情况以下是2012年、2013年各个省份黄焖鸡米饭门店数的增长情况那么这些数据信息是如何爬取得到的呢，现在一步步告诉大家?-----------【【数据来源分析】】?首先需要黄焖鸡米饭门店的创建时间，来分析黄焖鸡米饭随时间的增长，其次需要门店的地域信息来分析不同地域黄焖鸡米饭的增长情况。?分析大众点评的商户门店信息，可以在商户的贡献榜页面找到相关的信息，如下图：?这里需要对数据作几个近似处理：?仅选取商户名中包含黄焖鸡米饭的门店?将商户的添加时间近似看作门店的创建时间?大众点评无法查到已经关闭的商户，所以这里不考虑门店的关闭，仅选取现存的门店?----------【【开始写爬虫】】?上面分析了对数据的需求，下面就开始动手写爬虫爬取数据啦~?熟悉爬虫的人都知道，一个爬虫的基本工作流程是：?首先挑选一部分种子URL?（也可以叫入口URL），并放入到待爬队列中?从待爬队列中取出一个URL，下载内容并从中抽取信息，同时发现新URL，并加入到待爬队列中。重复此步骤，直至待爬队列为空。?种子URL，也可以叫入口URL，爬虫以这些URL为入口，以某种规则发现新的URL，最终爬遍所有想要的网页。为了爬取高效，我决定直接用大众点评的有哪些信誉好的足球投注网站，选择大众点评的有哪些信誉好的足球投注网站结果页作为入口URL，爬取结果页的所有商户并筛选后作为样本数据。大众点评的有哪些信誉好的足球投注网站也是分区域的，要把所有区域的有哪些信誉好的足球投注网站结果页都作为入口URL，形如?http://空格www.空格/search/keyword/{region_id}/0_黄焖鸡米饭?其中region_id从1到2323（很容易可以发现此范围内是中国的区域，数字再大就到国外了，如果多了或者少了请告诉我）。?抽取信息?从网页中抽取信息，最常用的是xpath，这里我们需要抽取商户id（防止重复），商户名称（过滤掉不含黄焖鸡米饭的），创建时间，区域名称，省份是没有的，需要根据区域名称得到。xpath可以结合Chrome的开发者工具来写，并通过xpath插件来验证，下面给出这几项数据的xpath：?商户id，抽取的数据中包含其他商户id，需要进一步处理来得到id?//div[contains(@class,shop-review-wrap)]/div/h3/a/@href?商户名称?//div[contains(@class,shop-review-wrap)]/div/h3/a/text()?创建时间，需要进一步字符串处理后得到时间?//div[contains(@class,block raw-block)]/ul/li[1]/span?区域名称，同样文本需要处理?//div[@class=breadcrumb]/b[1]/a/span/text()?发现新URL?URL的发现规则不是必须配置的，但是配置之后，可以大大提高爬虫的速率。对于大众点评这样规整的列表页+?详情页，配置好列表页的url规则和详情页的url规则，爬虫的目标就很明确，爬取速率杠杠的。一般这种规则用正则来表示，对于这里的爬虫，列表页规则为?http://www空格./search/keyword/\\d+/0_.*?详情页规则为?http://www.空格/shop/\\d+/editmember?另外，大众点评限制了IP的访问频率，这里可以把降低爬取速率，或是使用代理。如果你使用的是神箭手云爬虫，则代码如下?configs.enableProxy = true;?自己写爬虫的同学，请自行Google代理IP，此处不再赘述。?--------------【【用爬取的数据配置出图表】】?折腾出了这么多代码，约摸着看到这的都是真爱了，那么赶紧看看我们的成果吧：总共爬取到14000多条数据，现在就以这些数据作为样本来分析（下面涉及到的图表的设置，都是在神箭手云平台上操作完成的）。?1.?黄焖鸡米饭的整体增长?像原文里的分析一样，以季度为单位，作出2012年至2016年，黄焖鸡米饭的门店数随时间的增长情况。就做出了上方的那张图：?上图中，柱形绘制的是各个季度门店的新增数，折线绘制的是截止到某个季度的总门店数。对于柱形图/折线图，首先设置X轴和Y轴。Y轴比较简单，就是门店数，值类型是value，一个Y轴就可以了，不需要第二个Y轴；X轴是按季度划分的，值类型是category，需要在爬取结果的create_time字段上作区间划分，这里展示的新增和总店数两个数据，它们的统计区间是不一样的，新增统计的是create_time落在某个季度的门店数，而总店数统计的是create_time在某个季度之前的门店数，所以这里的区间划分需要定义两个。?X轴和Y轴定义好之后，开始定义数据。新增数展示为柱形图。X轴的字段选择create_time，在c