Spark框架下语义数据并行推理方法研究.pdfVIP

Spark框架下语义数据并行推理方法研究 1绪论 1.1 研究背景与意义 随着语义万维网的快速发展与应用，Web 中现已经存在大规模的本体数据， [1] 并且在逐年增长，到2011年9月统计RDF数据集总数已经超过了310亿条 ，另外 ，以链接开放数据（Linked Open Data, [2] LOD）工程为例 ，如图1所示，LOD连接数据集把不同领域的数据集链接组成一 个巨大的数据集。截止到2017 年2月LOD 工程中一共包含2973个RDF开放数据集，总共包含的三元组个数为1492亿个。比 较2011年的295 个RDF 开放数据集、310 亿个RDF 三元组的规模扩大10倍多，并且每时每刻都在爆发式增长，因此如何通过对大规 模语义信息进行并行推理高效的发现海量语义信息中的隐藏信息是现阶段研究 十分重要的问题。然而，传统的语义Web推理工具都是在 机环境下设计实现使 用，这些传统的推理系统在对海量本体数据进行处理时难免会遇到在计算性能 上和存储空间上等一系列的问题，所以，研究云环境下海量语义数据并行化高效 推理机制与方法是本文核心问题。 1 图1-1 LOD链接数据集 2 RDF数据集推理所关注的是主要目标是如何借助自动推理机从给定的推导 [3] 出一些结论，从而使隐含的语义数据推导出来 。对隐含的语义数据的支持是RD [4] F与其他数据类型的 质区别，也是语义网发展的重要推动力 。 目前，Hadoop是一个开源的分布式框架，是Apache下的一个开源项目。Hado op运行可以在上千上万个普通机器的节点组成的集群上，通过分布式的计算模 型和存储模型来处理大数据集，Hadoop 已经成为大数据存储和并行处理的主流 平台。Spark 目前也是Apache下的一个大型开源项目，Spark大数据处理模型可以 运行在Hadoop平台下，Spark采用函数式编程语言Scala[34]实现，同时还支持Pytho [5] n ，Java开发语言，Spark计算模型克服了在迭代式计算和交互式计算中的不足 。 Spark处理模型是基于MapReduce计算框架实现的分布式计算，拥有MapReduce 所具有的可扩展性、容错性、兼容性优点；但与MapReduce相比较不同的是Spark 处理模型中间输出结果可以保存在内存中，从而不再需要再反复读写HDFS，使 [5,6] 得并行处理效率比在MapReduce平台下提高了100倍 。因此，论文研究方向实 现在Hadoop环境下基于Spark下大规模RDF数据的高效推理，提出一种高效的基 于Spark的RDFS的推理算法。 论文的研究意义在于，首先在Hadoop环境下基于Spark构建海量数据并行推 理框架，并搭建相关平台。其次，研究基于Spark框架语义数据并行推理策略并研 究设计基于Spark框架的并行推理算法，最后通过实验分析与urbian[]文章中提出 的方法进行对比，得出该并行推理算法推理的准确性和效率。 3 1.2 国内外研究现状 现如今，为了实现高效率、易扩展的大规模语义数据的推理机制，有学者对 传统的推理算法从不同方面进行改动，目前为止，较为新颖受人认可的推理方式 为结合Spark技术基于RDFS、OWL推理规则提出推理算法。 1.2.1 Hadoop平台及相关技术 近年来，基于HDFS分布式文件系统、MapReduce分布式计算模型和HBase分 布式数据库模型实现的开源Hadoop [11] 平台 。其具备的高效率、易扩展