网络数据采集与爬虫-数据科学与社会研究.PDFVIP

网络数据采集与爬 虫 陈华珊(中国社科院社会发展战略研究院) 网络数据获取方式 • 模拟鼠标点击 − 按键精灵 − sikulix • 调用浏览器进行自动操作 − IE：DocumentObjectModel(DOM) − Chrome,Firefox ⋆ rdom ⋆ RSelenium ⋆ headless • HTTP采集 2017--03--02 网络数据采集与爬虫-@陈华珊 2 HTML基础知识 1 html 2 metatitle, description, keywords/meta 3 body 4 div.../div 5 p 正文 a href=Google/a /p 6 table表格/table 7 /body 8 /html 2017--03--02 网络数据采集与爬虫-@陈华珊 3 HTTP基础知识 HTTPprotocal(超文本传输协议) • 计算机通信网络中两台计算机之间进行通信所必须共同遵守的规定或规则， 超文本传输协议(HTTP)是一种通信协议，它允许将超文本标记语言(HTML)文 档从Web服务器传送到客户端的浏览器。 • 目前我们使用的是HTTP/1.1版本 • HTTP/2iscoming 2017--03--02 网络数据采集与爬虫-@陈华珊 4 Web服务器，浏览器，代理服务器 2017--03--02 网络数据采集与爬虫-@陈华珊 5 2017--03--02 网络数据采集与爬虫-@陈华珊 6 URL URL(UniformResourceLocator)地址用于描述一个网络上的资源，基本格式如下 1 schema://host[:port#]/path/.../[;url-params][?query-string][#anchor] Name Desc. scheme 指定低层使用的协议(例如：http,https,ftp) host HTTP服务器的IP地址或者域名 port# HTTP服务器的默认端口是80，这种情况下端口号可以省略。如果使用了别的端口， 必须指明，例如:8080/ path 访问资源的路径 url-params query-string 发送给http服务器的数据 anchor- 锚 2017--03--02 网络数据采集与爬虫-@陈华珊 7 URL的一个例子 1 /sj/test;id=8079?name=sviergnx=true#stuff 2 3 Schema: http 4 5 host: 6 7 path: /sj/test 8 9 URL params: id=8079 10 11 Query String: name=sviergnx=true 12 13 Anchor: stuff 2017--03--02 网络数据采集与爬虫-@陈华珊 8 HTTP消息的结构 • Request − 请求行 − httpheader − body 2017--03--02 网络数据采集与爬虫-@陈华珊