基于Python的网络爬虫的设计与实现论文.docxVIP

于Python的网络爬虫的设计与实现 摘要 网络爬虫是一种按照一定的规则自动搜集互联网信息的程序或者脚本，通过网络爬虫不仅能够为有哪些信誉好的足球投注网站引擎搜集网络信息，还可作为定向信息采集器定向采集某些网站下的特定信息。 本课题是基于Python设计的面向主题的网络爬虫程序，目的是设计出能爬取某一站点中用户感兴趣的内容且进行存储的爬虫，并阐述了为何使用面向主题的爬行策略以及网络爬虫的原理。 关键词: Python;网络爬虫;面向主题 The Design and Realization of Web Crawler Based on Python Abstract CRAWLER is a program or script which automatic collection of Internet information according to certain rules. CRAWLER can not only collect network informations for search engines, also can be a Directional information collector gathers specific information. The projcet is based on the design of theme-oriented Python web crawler, the purpose is to design the crawler which can crawl a site and store the date, and explains why to use of subject-oriented strategy and the principle of web crawler. Key words:Python; Web Crawler; theme-oriented 目录 目录 TOC \o 1-3 \h \z \u 引言 1 1 概述 2 1.1 课题研究背景与意义 2 1.2 论文的主要工作 2 1.3 论文的内容组织 3 2 网络爬虫概述 3 2.1 Python的简介及环境配置 3 2.2 网络爬虫的基本原理 4 2.2 网络爬虫的研究现状 5 3 网络爬虫关键模块的研究与设计 7 3.1 页面分析及HTML文档解析 7 3.2 HTTP请求的处理模块 9 3.3 格式转换模块 12 4 系统功能实现模块 15 4.1 配置文件 15 4.2 API 16 4.2 信息获取功能 21 5 系统设置与系统效果分析 25 5.1 系统使用设置 25 5.2 系统效果分析 26 6 全文总结 28 6.1 工作总结 28 6.2 研究展望 29 致谢 29 参考文献 30 PAGE 4 防灾科技学院毕业设计 PAGE 1 引言 随着互联网这个非结构化的数据库的极速增长，从杂乱的数据库中将有效的数据检索出来变的越来越重要。有哪些信誉好的足球投注网站引擎作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，众所周知通用性的有哪些信誉好的足球投注网站引擎都存在着一定的局限性。由于用户所处背景与领域的不同，所以就产生了不同的检索需求和目的，而传统有哪些信誉好的足球投注网站引擎的有哪些信誉好的足球投注网站结果中一般都包含了大量数据，很多数据跟用户需求完全没有关系，所以拥有一些主题式的网络爬虫来满足特定领域内的人们特定的有哪些信誉好的足球投注网站需求就变的十分重要。国内某知名问答类网站上有大量丰富的高质量问答，能提供给我们很多学习资源，但由于官方目前没有提供api，因此我们需要采用Python编写一个网络爬虫，以完成我们的需求，用来方便我们获取此网站上各种内容的信息。 本系统主要采用python的BeautifulSoup4库来解析html文档，用requests库来处理相关的http请求，最后使用html2text进行格式转换，将抓去的信息保存下来。功能上主要实现了对某个问题、某个答案、某个用户、某个收藏夹等信息搜集，满足用户多方面的需求；将搜集到的信息以txt和markdown两种格式保存在当前目录下，让用户查看起来更为方便，一目了然。 1 概述 1.1 课题研究背景与意义 随着Web信息的爆炸式增长，互联网呈现出了丰富繁多的信息，网页也逐渐成了人们日常生活中获取信息的重要来源。根据CNNIC于2014年7月发布的《中国互联网络发展状况统计报告》中的数据指出，截至到2014年6月，Internet上仅中国的网站数量就已经超过273万个，网页数量更是数以亿计，网民规模达6.32亿，较2013年底增加1442万人 RE