网络爬虫的设计与实现 毕业论文-毕业论文.docVIP

ABSTRACT摘要 ⅡⅠ摘要 网络爬虫是一种自动搜集互联网信息的程序。通过网络爬虫不仅能够为有哪些信誉好的足球投注网站引擎采集网络信息，而且可以作为定向信息采集器，定向采集某些网站下的特定信息，如招聘信息，租房信息等。 本文通过JAVA实现了一个基于广度优先算法的多线程爬虫程序。本论文阐述了网络爬虫实现中一些主要问题：为何使用广度优先的爬行策略，以及如何实现广度优先爬行；为何要使用多线程，以及如何实现多线程；系统实现过程中的数据存储；网页信息解析等。 通过实现这一爬虫程序，可以搜集某一站点的URLs，并将搜集到的URLs存入数据库。 【关键字】网络爬虫；JAVA；广度优先；多线程。ABSTRACT PAGE IIABSTRACT SPIDER is a program which can auto collect informations from internet. SPIDER can collect data for search engines, also can be a Directional information collector, collects specifically informations from some web sites, such as HR informations, house rent informations. In this paper, use JAVA implements a breadth-first algorithm multi-thread SPDIER. This paper expatiates some major problems of SPIDER: why to use breadth-first crawling strategy, and how to implement breadth-first crawling; why to use multi-threading, and how to implement multi-thread; data structure; HTML code parse. etc.  This SPIDER can collect URLs from one web site, and store URLs into database. 【KEY WORD】SPIDER; JAVA; Breadth First Search; multi-threads.目录 TOC \o 1-3 \h \z \u HYPERLINK \l _Toc231537374 第一章 引言 PAGEREF _Toc231537374 \h 1 HYPERLINK \l _Toc231537375 第二章 相关技术介绍 PAGEREF _Toc231537375 \h 2 HYPERLINK \l _Toc231537376 2.1 JAVA线程 PAGEREF _Toc231537376 \h 2 HYPERLINK \l _Toc231537377 2.1.1 线程概述 PAGEREF _Toc231537377 \h 2 HYPERLINK \l _Toc231537378 2.1.2 JAVA线程模型 PAGEREF _Toc231537378 \h 2 HYPERLINK \l _Toc231537379 2.1.3 创建线程 PAGEREF _Toc231537379 \h 3 HYPERLINK \l _Toc231537380 2.1.4 JAVA中的线程的生命周期 PAGEREF _Toc231537380 \h 4 HYPERLINK \l _Toc231537381 2.1.5 JAVA线程的结束方式 PAGEREF _Toc231537381 \h 4 HYPERLINK \l _Toc231537382 2.1.6 多线程同步 PAGEREF _Toc231537382 \h 5 HYPERLINK \l _Toc231537383 2.2 URL消重 PAGEREF _Toc231537383 \h 5 HYPERLINK \l _Toc231537384 2.2.1 URL消重的意义 PAGEREF _Toc231537384 \h 5 HYPERLINK \l _Toc231537385 2.2.2 网络爬虫URL去重储存库设计 PAGEREF _Toc231537385 \h 5 HYPERLINK \l _Toc231537386 2.2.3 LRU算法实现URL消重 PAGEREF _Toc231537386 \h 7 HYPERLINK \l _Toc231537387 2.3