信息采集与数据抓取管理.docVIP

信息采集和数据抓取管理 用户使用手册 目 录 1.信息采集系统的功能说明 4 1.1 信息采集系统概述 4 1.2 信息采集系统主要功能特点 4 2. 信息采集系统的使用说明 6 2.1 信息采集中的任务设置 6 2.1.1 导入模板 7 2.1.2 添加任务 8 2.1.3 修改任务 24 2.1.4 删除任务 24 2.1.5 启用任务和停用任务 24 2.1.6 设置计划 24 2.1.7 设置模板 25 2.1.8 采集记录管理 25 2.2 任务控制台 26 2.3 任务日志 27 2.4 任务模版 28 2.5 回收站 28 3. 数据抓取管理的功能说明 30 3.1 数据抓取管理概述 30 3.2 任务设置 30 3.3 任务控制台 36 3.4 任务日志 37 3.5 回收站 37 1.信息采集系统的功能说明 1.1 信息采集系统概述 信息采集系统是为企业中的信息采集人员方便从不同的Internet站点获取所需的文章信息而定做的系统。此系统可以在最短的时间内，帮您把必威体育精装版的文章实时并根据您的要求提取标题、发布时间、详细内容等页面中的有用信息，同时在进行分类和统一格式后，第一时间之内传递给最需要它的终端用户，用户可以方便地进行各种查询。并保持所跟踪网站的文章资讯信息自动与后台同步更新，而且所有文章将以的方式展现给用户，使得用户可以。把文章及时发布更新，从而将网络传媒的文章实时性推向了极致。可定制、高扩展性的技术保证最快最多的收集互联网信息，为用户提供最准确、最广泛、最具时效性的信息提供了坚实基础。强大的信息采集能力?此系统功能针对专业用户所要求的信息有哪些信誉好的足球投注网站深度、采集精度和抓取速度等进行了专门的优化，采用了分布式多线程并发指令执行体系结构，可以把采集目标的文字或者图片或者连接地址的目标文件都可以采集到我们自己的网站上。智能化信息提取技术当用户在最短时间内获取了其需要的海量的信息页面，其处理工作也就可想而知了，不但能在瞬间获取你所要的页面同时能快速同步的进行页面分析提取。具体特点如下：　支持按位置提取、按关键字提取和按表单提取等多种不同的智能化信息提取技术，保证对不同网站构建技术的信息提取通用性；　支持对信息页面的标识，及对信息页面中用户关注的信息内容字段的精确定义，使得信息提取能够高效地获取用户所需的内容，并以结构化的数据项形式直接存入数据库，具有开放性； 信息提取不依赖于具体的信息内容，支持多个不同信息类型的不同采集任务同时运行 提供快捷的方式使得操作人员能够对该任务的提取结果进行浏览 方便化的信息管理技术； 此系统提供定时性的任务采集技术，不需要用户手动的进行采集。同时还提供文章信息的方便管理，使文章实时性的发布，保证文章的实效性。 2. 信息采集系统的使用说明 信息采集系统主要是应用在我们的网站综合管理平台中，在使用此功能前，必须确保此站点中含有相应的栏目文章源。然后在网站综合管理平台的网站管理目录下的信息采集管理栏目中进行文章采集的任务设置。 信息采集管理栏目中有五个子栏目，分别是：任务设置、任务控制台、计划管理、任务日志、任务模板。任务设置子栏目中主要实现的是采集文章信息的相关设置；任务控制台子栏目中主要实现的是任务的启动与停止；计划管理子栏目主要实现的是设置采集任务的定时采集文章计划；任务日志子栏目中主要时记录采集任务执行的操作日志、任务模板子栏目主要实现对制定的任务模板的存放以及管理。接下来我们从每一个子栏目开始逐一进行详细的说明。 2.1 信息采集中的任务设置 在网站管理目录页面中，点击信息采集管理栏目下的子栏目【任务设置】，进入其页面如图(2-1)。 图2-1 在其页面的任务队列中列出了所有设置的采集任务的详细信息。这些信息包括采集任务的名称、任务状态、放入到指定栏目的栏目名称、采集地址、采集/扫描条数以及操作。同时在其页面中有九个功能设置项，分别是：导入模板、添加任务、删除任务、启用任务、停用任务、设置计划、修改任务、采集记录管 理、设置模板。接下来我们分别做一介绍。 2.1.1 导入模板 在本系统中提供了设置采集模板功能，文章采集者可以将一些设置好的采集任务定制成模板。当以后再使用时，直接导入就可以了。具体导入操作如下： 点击按钮，进入配置页面如图(2-2)。 图2-2 【任务名称：】为导入的任务所定义的名称。 【导入内容放入：】在此处可以选择采集下来的文章所放置的栏目文章源。 【选取任务模板：】当有定制的任务模板时，会在此处显示，信