蜘蛛功能：.doc

蜘蛛功能： 基本功能： 访问目标网站提取所有商品货号 名称写入本地数据库多线程运行再次运行下载时，比对网站数据和数据库中数据是否有变动，自动更新数据库。并标明哪些记录变动和情况初次采集标志 更新标志 … …. …. … (1,0) (1,0) … … …. …. 商家页面生成： 通过上述采集功能对目标站点的数据进行采集汇总，然后通过对数据进行合并整理并批量生成新的店铺页面（如下图），页面内容至少包含如下内容。 页面部分功能详细描述及说明： 商家的电话号码，由于采集的电话号码有数字和图片两种格式，页面生成是要能够自动识别是数字还是图片，并在页面前台显示出来。 数据库中的地址信息要能够识别出区县、热点。以便后期能够通过区县和热点进行店家有哪些信誉好的足球投注网站。 点评部分的指数需要通过采集获得并整理成统一的指数格式，并在前台体验。 周围商家通过采集获得 6、这块要能通过数据库中的字段进行商家归类。 可以只需目标站的最近的一条点评信息。 其他部分功能若无疑问不做详细说明，请参考页面设计完成。 其他注意事项： 1、采集的信息系统最好做到间歇性采集以避免目标站封IP。 2、采集目标站连续N次失败后有系统提示，并停止该站点采集，并在其他时间段再进行采集。 3、可以手动设置采集时间段。 4、提供详细的设计及实施文档。 5、源码部分提供详细的标注。 饭桶 网 口碑 网 大众 爱帮网 数据齐全：入库 数据不齐全：置下次采集时间标志 数据齐全：入库 数据不齐全：置下次采集时间标志 入A表 2 合 成 新 的 数 据 2 处理标志 1 处理标志 入B表 1 2 1 处理标志 入C表 2 1 处理标志 入D表 处理： 初次采集完成时，置如下标志： 初次采集时，初次采集标志 =1更新标志=1 更新采集时初次采集标志为0，更新采集标志为1 3、更新采集只采集点评、地图、电话、评分等部分信息 网站提取各表中的数据进行数据合成。 合成新的数据后，分别给表A,B,C，D做标志重置： 将初次采集的标志1，置为0； 将更新标志置为1，置为0 3 3 3 3 1