基于WEB挖掘的网络爬虫设计与实现-计算机系统应用.PDFVIP

计 算 机 系 统 应 用 2013 年 第 22 卷 第 9 期 基于 WEB 挖掘的网络爬虫设计与实现① 1 2 1 肖 毅 , 张 林 , 聂笑一 1(湖南农业大学 信息科学技术学院, 长沙 410128) 2(湖南农业大学 东方科技学院, 长沙 410128) 摘 要: 从介绍 Web 挖掘与数据挖掘的差异入手, 分析 Web 挖掘中 Web 爬虫的必要性和现代 Web 挖掘技术的发 展方向, 在深入了解 Web 爬虫的原理及其功能的基础上, 提出一个现代网站通用的挖掘模型, 并利用该模型设计 一种网络爬虫. 经实例证明, 该爬虫能高效爬取更多的各种页面数据. 关键词: 数据挖掘; Web 爬虫; 挖掘技术 Design and Realization of Web Crawlwer Based on Web Minning 1 2 1 XIAO Yi , ZHANG Lin , NIE Xiao-Yi 1(Information Science and Technology College, Hunan Agricultural University, Changsha 410128, China) 2(Orient Science Technology College, Hunan Agricultural University, Changsha 410128, China) Abstract: The diffeences between web-minning and data-mining were introduced in this paper firstly, then the necessity of Web crawler during web-minning and the development of modern web-minning technology were analysed. Based on the deep understanding of the principle and its function of Web crawler, a minning model popular in modern website was put forward, and a web crawler was designed by the use of this model. Tested by several examples, this kind of crawler can get more diversified pagedata efficiently. Key words: data-mining; Web crawler; Web-minning technology 随着互联网的不断发展和普及, web 成为人们不 1 数据挖掘与Web挖掘 可缺少的一部分, 同时也是人们获得信息的重要途径. 传统的数据挖掘又称为数据库知识发现. 是指从 如何充分有效地利用 web 中数量庞大的信息成为一个 数据源(如数据库、文本、图片、万维网等) 中探寻有用 不可回避的问题, web 数据挖掘技术也逐渐成为 web 的模式或知识的过程. 对于数据挖掘模式来说必须是 技术中的重要部分. Web 挖掘是指综合利用数据挖掘 有用, 有潜在价值的[2]. 它主要基于人工智能、机器学 技术对 Web 内容、Web 结构及 Web 日志等进行分析 习、模式识别、统计学、数据库、可视化技术等, 高 处理, 从中获得对决策制定有价值的各种信息的过程. 度自动化地分析企业的数据, 做出归纳性的推理, 从 Web 挖掘技术与传统的数据挖掘的比较, 主要区别在 中挖掘出潜在