[网络信息爬取使用说明.docVIP

网络信息爬取管理系统 文件状态： 【√】草稿 【 】正式发布 【 】正在修改 项目名称 网络信息爬取管理系统 文档名称 使用说明书 文件标识 YOUOO.WDIW.APP.SPIDER 当前版本 V1.0 作者 马松 完成时间 YYYY-MM-DD 页数 密级 中 使用说明书 成都友有网络科技有限公司 2011年10月 文档控制 修改记录 起止日期 修改类型* 作者 参与者 版本 备注 2011-10-27——YYYY-MM-DD A 马松 V1.0 * 修改类型分为 A—Added M—Modified D—Deleted 审阅人 姓名 职位 审阅签字 存档 存档号 地点/位置 备注 概述 1.1背景 公司品财经网站每天需要繁琐的去收集新闻信息，为了减轻客服人员的负担，开发此系统进行自动的数据爬取。当然也可以应用于各种数据的爬取。 1.2应用领域与使用对象 该系统主要用于有一定程序基础的人员。 1.4参考资料 列出有关资料的作者、标题、编号、发表日期、出版单位或资料来源，可包括 与该产品有关的已发表的资料 文档中所引用的资料，所采用的软件标准或规范或业务规则 编号 资料名称 简介 作者 日期 出版单位 列出编写本说明书时查阅的Internet上杂志、专业著作、技术标准以及他们的网址 网址 简介 Web-Harvest是一个用Java写的开源的Web数据提取工具. 1.5术语与缩写解释 列出本文中用到的专门术语的定义 缩写、术语 解释 Web-Harvest 一个用Java写的开源的Web数据提取工具. 系统综述 2.1系统结构 2.2系统功能简介 本软件主要分为3个大模块，分别为爬取信息管理、数据源管理、数据库连接管理。只需根据所爬取网页编写一个配置文件，就能轻松爬取到你想要的精确数据。 2.3性能 该系统可以支持1000个爬取信息同时爬取网络信息。 2.4版权声明 声明版权所有者以及盗版应承当的法律责任。 运行环境 3.1硬件设备要求 本软件要求在PC及其兼容机上运行。 要求奔腾Ⅱ以上的CPU。 要求64MB以上的内存。 要求10GB以上的硬盘。 3.2支持软件 本软件要求在PC及其兼容机上运行。 操作系统在Windows 98以上的系统、Linux等。 操作系统要支持Java ，JDK版本1.6以上。 需要安装Tomcat6.0以上。 3.3数据结构 该软件所需数据库：MySQL 系统操作说明 首先用图表的形式说明软件的功能同系统的输入源机构、输出接收机构之间的关系。 4.1安装与初始化 4.1.1 安装JDK 由于该系统是由JAVA开发的，所以第一步需要用户下载JDK并进行安装。 下载地址： /download/jdk6/6u10/promoted/b32/binaries/jdk-6u10-rc2-bin-b32-windows-i586-p-12_sep_2008.exe 安装完成后需要进行环境变量的设置。进入环境变量：右键我的电脑-选择属性-高级-环境变量。（如图：4.01） 图4.01 进入环境变量后，在系统变量栏点击新建，变量名为JAVA_HOME，变量值为你的JDK的安装路径。例如：本机的JDK安装在C:\Program Files\Java下面，而该目录下面有一个jdk和jre的文件夹，选择jdk的那个文件夹，最后则是C:\Program Files\Java\jdk1.6.0_07作为变量值。（如图：4.02） 图4.02 设置完JAVA_HOME路径后，添加到系统变量Path后面。路径为：%JAVA_HOME%\bin; (如图:4.03) 图4.03 至此Java的JDK配置成功。测试成功与否可以在命令行输入：java 。会有当前JDK的版本信息。 4.1.2 安装Tomcat Tomcat基本上都是绿色版本的，解压就可以用。 下载地址：/index.html 下载解压后，在环境变量里面配置Tomcat。首先配置CATALINA_BASE和CATALINA_HOME,其值都是Tomcat的根目录。（如图4.04） 图4.04 配置classpath环境变量。值为以下变量。 %JAVA_HOME%\dt.jar;%CATALINA_HOME%\common\lib\servlet-api.jar;（如图4.05） 图4.05 加入到在环境变量path中。%CATALINA_