火车采集器软件.pdf

火车采集器软件 用户使用手册 合肥乐维信息技术有限公司 前 言 火车采集器是一款专业的网页数据抓取、处理、分析、挖掘软件，可以灵活 迅速地抓取网页中散乱分布的文本，图片等资源信息，然后通过一系列的分析处 理，准确挖掘出所需数据。并可以选择发布到网站后台、导入数据库或者保存在 本地 Excel，Word等格式的文件中。 火车采集器历经十年的升级更新 凭借高效稳定的特性积累了大量用户和良 ， 好口碑，被誉为最经典的采集软件。 研发背景  从有哪些信誉好的足球投注网站引擎到网页数据采集 以惊人的速度发展起来的网络时代 成就了万维网这个拥有着大量信息资源 ， 的宝藏，基于万维网信息资源而生的有哪些信誉好的足球投注网站引擎则实现了信息的有效查找和利用； 但网络的与时俱进让我们对互联网信息产生了新的需求，不仅要有哪些信誉好的足球投注网站到信息，还 要将所需数据信息快速地收集到目标中去，这个目标可能是一家网站，一个数据 库，一间网店，一篇文档……所有需要数据的地方，正是这种对数据利用的强烈 需求催生了网页数据采集技术。  从手动采集到软件采集 对网页数据的采集需求最初通过人工手动采集来实现，我们把需要的数据复 制下来，再粘贴到目标中去，就完成了一个最简单的采集过程。手动采集可以满 足少量的采集需求，但网页数据是海量的，我们需要的数据往往也是大量而又复 杂的，传统手动采集会耗费许多时间和精力，因此我们需要一个高效的采集工具， 来帮助我们快速完成采集 在这种需求之下 火车采集器应运而生。 ， ， 火车采集器实现了将数据从采集到处理到发布的一系列智能操作，能够快速 稳定地应对大量的数据采集需求，取代手动采集模拟人工操作，大幅提升工作效 率。 核心功能  分布式高速采集 任务分配至多个客户端，同时运行采集，效率倍增。  多识别系统 配备正文识别、中文分词识别、任意编码识别等多种识别系统，智能识别操 作更轻松。  全自动运行 无需人工值守操作 可计划任务运行 任务完成后自动关机。 ， ，  无限级多页采集 支持包含 ajax 请求数据在内的多个页面信息的无限级采集。  任意文件格式下载 图片、压缩文件、视频等任意格式的文件都能轻松下载。  支持多数据库 支持 Access/MySQL/MsSQL/Sqlite/Oracle 多种类型的数据库保存及发 布。  支持扩展 支持接口和插件扩展，满足各种采发需求。  采集监控系统 实时监控采集 确保数据的准确性。 ， 术语解释 1.采集任务 ：采集任务是火车采集器中对于数据采集和数据发布任务的完整配 置，包含采集规则和发布模块。 2.采集规则 ：即我们对如何采集和采集什么的问题给出一些设置让采集器按照设 置的规则来执行，这个设置可以从火车采集器里面导出保存为.ljobx 文件，也可 以再次导入火车采集器。 3.发布模块 ：在火车采集器中，发布模块是对 “将数据发布到哪里”进行的设置。 包括 WEB在线发布模块和数据库发布模块 其设置分别可以导出保存为.wpm ， 文件和.dbm文件，并可以再次导入火车采集器使用。 4.发布接口 ：发布接口是一个小型的页面程序，通常和 WEB在线发布模块配合 使用来满足用户的特定需求。即采集器将采集的数据发送到发布接口文件中，接 口文件得到数据，并按照用户特定需求灵活地处理数据。 5.标签 ：是指用来提取某项内容信息的一个字段名字，由用户在编辑规则的时候 指定，比如标题、手机号、作者，内容标签采集到的信息在发布模块中就可以通 过该标签名对应获取到，格式为[标签 ：标签名]如[标签 ：标题]。标签在火车采 集器里面有分为两种 ：分别为列表页标签和内容页标签，顾名思义列表页标签就 是在获取列表页时（即采网址时 ）就获取到内容信息，内容页标签是在获取内容 页或多页内容时 （采内容 ）才获取内容信息。 注