智能检索概要设(初)-2.docVIP

功能需求 实现对应急平台数据库及文件系统的全文检索，为业务系统查询、检索信息、资料提供底层的技术支持； 实现应急办对互联网（国内外主要新闻媒体、应急相关机构）相关网络信息（包括突发公共事件信息）的监测、获取、及整理。 总体设计 系统构成 根据业务需求，整个智能检索系统由两大部分组成，分别实现不同的功能： 全文检索系统 网络信息雷达 系统架构 全文检索系统： 实现对系统内存储的数据库系统、文件系统等应急数据资源的全文检索功能。 1、技术路线： 基于先进的全文检索开源软件包Lucene， 由Java进行扩展实现。 Lucene源码中共包括7个子包，每个包完成特定的功能： ? Lucene包结构功能表 包名 功能 org.apache.lucene.analysis 语言分析器，主要用于的切词，支持中文主要是扩展此类 org.apache.lucene.document 索引存储时的文档结构管理，类似于关系型数据库的表结构 org.apache.lucene.index 索引管理，包括索引建立、删除等 org.apache.lucene.queryParser 查询分析器，实现查询关键词间的运算，如与、或、非等 org.apache.lucene.search 检索管理，根据查询条件，检索得到结果 org.apache.lucene.store 数据存储管理，主要包括一些底层的I/O操作 org.apache.lucene.util 一些公用类 2、模块构成 整个全文检索功能的实现，主要基于Lucene的软件包扩展实现；重点包括系统数据监控、中文分词的扩展实现、检索应用接口、文件系统适配器、数据库适配器、管理设置维护、词表管理等构成。 Lucene: 实现核心的全文检索功能； 数据监控：实现对系统存储数据变化的动态监控管理，以便进行实时地建立动态索引。 文件系统适配器：实现将不同类型的文档格式Text、HTML、XML、RTF、MS OFFICE文档 (Word/Execl/Powerpoint)和PDF转换成标准的Lucene文件格式，以建立索引。 数据库适配器：实现将不同类型数据系统的数据转化成标准的Lucene文件格式，以建立索引。 管理配置： 实现相关系统的参数配置功能。 词表管理：实现词表（中文分词表、、 信息采集模块（网络爬虫）：对所设置的网站URL信息进行解析，并实现对感兴趣相关网页的下载； 信息过滤模块：实现对网页的过滤功能，自动去处广告、栏目等无用垃圾等信息。 配置管理： 实现对网络信息雷达的相关参数的设置，如监控网站、自动监控时间、线程数量等等； 主题设置： 实现对要监控信息主题的设置，，及关键特征词的维护管理。 Web信息管理：实现对所下载内容的浏览、展示； 消重： 根据网页的内容进行是否重复网页的判断。 分类：实现根据文本的内容进行自动分类处理； 建议外购。 2、技术要求 采用Java语言开发 采用多线程技术 数据可按照文件系统及数据库模式进行存储。 3、技术实现 采用开源软件Heritrix实现，Heritrix是一个爬虫框架，可扩展的，基于整个Web的，归档网络爬虫工程 接口设计要求 提供标准的Java API接口。 and due diligence evaluations article 22nd head office, branch (jurisdiction), risk management, marketing management branch within the Departments credit business person assumed responsibility for the supervision and inspection and due diligence evaluations. Article 23rd, Head Office, branches (jurisdiction), risk management, Marketing Management Department through on-site and off-site inspection, investigation report, interviews with investigators for pre-loan investigation work by way of conducting supervision and inspection, quality evaluati