网络程序设计课程论文.docVIP

JISHOU　UNIVERSITY 专业课课程论文 题 目： 网络爬虫的设计与实现 作 者： 学 号： 所属学院： 信息科学与工程学院 专业年级： 总 评 分： 完成时间： 吉首大学信息科学与工程学院 网络爬虫的设计与实现 （吉首大学信息科学与工程学院，湖南 吉首 416000） 摘 要 网络爬虫是一种自动搜集互联网信息的程序。通过网络爬虫不仅能够为有哪些信誉好的足球投注网站引擎采集网络信息，而且可以作为定向信息采集器，定向采集某些网站下的特定信息，如招聘信息，租房信息等。 本文通过Python及第三方库(TCP/IP)实现了爬虫程序。本论文阐述了网络爬虫实现中一些主要问题：如何实现爬行系统实现过程中的数据存储；网页信息解析等。 通过实现这一爬虫程序，可以搜集某一站点的URL，并将搜集到的URL存入数据库。 关键词：网络爬虫；python；TCP/IP；URLs； The Design and Implementation of web of Spider Li Wei (College of Information Science and Engineering,Jishou University,Jishou,Hunan 416000) Abstract SPIDER is a program which can auto collect informations from internet. SPIDER can collect data for search engines, also can be a Directional information collector, collects specifically informations from some web sites, such as HR informations, house rent informations. In this paper, use Python with The third Labriary are based on (TCP/IP)This paper expatiates some major problems of SPIDER: and how to implement data structure; HTML code parse. etc.  This SPIDER can collect URLs from one web site, and store URLs into database. make the results and statistics，display the results of data packet capture and so on. Key words: SPIDER; python; TCP/IP;URL 目 录 第一章 引言 1 1.1 课题背景及意义 1 1.2 课题研究现状 1 1.3 研究内容 1 1.4论文组织方式 2 第二章 关键技术 3 2.1 easy_install 3 2.1.1requests;for Humans的网络库 3 2.1.2 wget:命令行下载工具 3 2.2 抓包工具 3 2.2.1 firebugs 3 2.2.2 URL消重 5 2.2.3 网络爬虫URL去重储存库设计 5 2.2.4基于磁盘的顺序存储 6 第三章 需求分析 7 3.1功能需求 7 3.2 SPIDER体系结构 7 第四章 详细设计 8 4.1 Spider结构设计 8 4.2流程结构设计 8 4.3详细分析 9 结束语 12 参考文献 13 第一章 引言 1.1 课题背景及意义 当Google[1]创始人用python[2]写下他们第一个简陋的爬虫, 运行在同样简陋的服务器上的时候 很少有人能够想象 , 在接下的数十年间 , 他们是怎样地颠覆了互联网乃至于人类的世界 1.2 课题研究现状 网络爬虫技术是抓取web信息的关键技术，它通过FireBug技术，过滤技术获取原始数据，根据TCP/IP分层理论进行层层拆解，提取相关协议中的信息。本课程设计主要通过requests: for Humans(github[3]排行前100)，firebug(fire fox浏览器调试工具)开发包，在Python环境下编写出了一款简单的爬虫软件。 Python是一种可以撰写跨平台应用软件的面向对象的程序设计和函数式编程语言，从开放至今已有20余年的时间。由于社区资源丰富，有强大的高质量第三方库和文档支持。并以简单易学受到了