基于本体论的多源异构数据集成方法研究.docxVIP

基于本体论的多源异构数据集成方法研究 　　摘要：大数据时代信息呈指数级爆炸式增长，不同的数据采集、处理和存储方式使得这些海量数据具有来源复杂、结构异构的特点，难以共享和互操作。传统的数据集成方式已经不能适应企业获取信息、使用信息需求。为解决多源异构的数据集成效率和质量问题，基于本体论概念和语言，借鉴本体识别和表达方式，设计了一种领域内表达数据属性与关系的元模型。基于该元模型，对领域内数据建立相应的模型并形成规则，规范和约束了多源异构数据集成过程和质量，提高了数据集成的效率和数据利用率。　　关键词：多源；异构；数据集成；本体　　DOIDOI：/　　中图分类号：TP391　　文献标识码：A文章编号文章编号：　　英文摘要Abstract：The arrival of large data age makes the information exponentially explosive， and different data collection， processing and storage methods make these massive data have the characteristics of complex source structure， it is difficult to share and interoperate. The traditional way of data integration has been unable to apply to the enterprise to obtain information， the use of information needs. In order to solve the efficiency and quality of multisource heterogeneous data integration， this paper designs a metamodel that expresses the attributes and relationships of data in the field based on the concept and language of ontology and the recognition and expression of ontology. Based on this metamodel， the corresponding models are established in the data infield， the rules are formed， and the process and quality of multisource heterogeneous data integration are constrained， and the efficiency of data integration and data utilization are improved.　　英文关键词Key Words：multisource；heterogeneous； data integration； ontology　　0引言　　信息技术革命与经济社会活动的交融催生了大数据。大数据是以容量大、类型多、存取速度快、应用价值高、价值密度低为主要特征的数据集合，常规技术无法满足对这些纷繁复杂的海量信息进行采集、处理、分析与使用的需求[1]。因此，大数据的采集、分析和存储技术不断更新，大数据处理平台得到了广泛应用。　　通用的系统架构与数据流包括以下工作：由前端网络分流设备将多个业务系统和渠道发过来的数据流量接入到处理系统，然后用软硬件分流器对数据流进行分析、过滤、分发和推送，这是前端数据处理平台；数据接入层接收前端的各类数据转发到后端，由统一的数据抽取和转换平台对数据进行抽取、格式转换并加载到大数据平台，进行数据分析和数据挖掘，同时用户还可根据挖掘需求，设计查询任务流及更多的应用系统[2]。　　1研究现状　　多数据来源的系统不仅需要接入前端数据，还包括大量的第三方数据、历史数据、不同信息系统间的交换数据等。数据接入层面临着数据量大、结构参差不齐、?稻葜柿坎畹榷喾矫娴睦?难与挑战。　　以公安行业数据为例，分为以下几类：①公安基础工作数据信息。包括人员信息、案件信息、物品信息、线索信息、场所信息等；②公安内网共享数据信息。包括公安部及各省市公安内网中的在逃人员信息、盗抢汽车信息、违法犯罪人员信息、法轮功信息、通缉令、预警信息、研判指令等；③外部社会信息。包括互联网刊载的违法犯罪信息、商业网站异常信息、保险理赔信息、个人资信信息、中介机构信息、检察机关案件信息、审判机关案件信息、信用卡组织