基于内存数据网格文件存储分析.docVIP

基于内存数据网格文件存储分析 　　摘要：内存数据网格存储系统能够大大提高数据的存储速度，现有的内存数据网格原型系统大多支持数据键值对的存储。该文通过利用现有的数据网格原型系统，实现了分布式的内存文件存储工具。并对该工具的存储性能进行分析，并提出几种影响分布式内存数据网格文件存储性能的因素。 　　关键词：内存数据网格；文件存储；性能分析 　　中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2015）22-0171-03 　　Abstract：In-memory-grid storage system can increase the speed of data storage. Most existing memory data grid prototype system only support key-value pair storage. In this paper，by using the existing data grid prototype system， we develop a tool that can storage file in In-memory-grid. And analyzed the performance of the tool， And put forward several kinds of influence factors of distributed memory data grid file storage. 　　Key words：in-memory data grid； file storage； performance analysis 　　随着云计算技术的普及，产生的数据量越来越大，数据共享越来越普遍。为了处理海量数据，解决传统数据库面临的大规模数据访问瓶颈问题，分布式缓存技术得以引入。分布式缓存将数据分布到多个缓存服务节点，在内存中管理数据，对外提供统一的访问接口，基于冗余备份机制实现高可用支持，又被称为内存数据网格（IMDG）。IMDG是基于内存的新型分布式数据键值对存储系统，与分布式缓存相比，可以简化应用层数据访问逻辑的开发，减少维护缓存与数据库的管理逻辑，屏蔽应用与数据库的交互细节，并提供持久化机制将内存中的数据自动存储于数据库中[2]。 　　目前IMDG主要是对数据键值对存储研究比较多，本文通过分析现存的IMDG原型系统，利用Infinispan内存数据网格原型实现的分布式文件存储。通过在单机环境下和集群环境下的性能测试实验，测试该内存数据网格的文件读写性能，以及验证影响内存数据网格的读写性能的因素[2，6]。 　　1 内存数据网格的概述 　　1.1分布式缓存 　　在计算机中，分布式缓存是传统概念上单一缓冲的扩充。一个分布式缓存跨越多个服务器，因此其具有可扩展性和事物处理性。通常主要是用于存储应用程序数据驻留在数据库和web会话数据。因为内存变得非常便宜和网卡已经变得非常快分布式缓存的[1]现在已经使用的越来越广泛。对于分布式缓存主要的特性有高性能、动态可扩展、高可用性、易用性、分布式代码执行[3，4]。现今，很多的系统都使用了数据缓存技术，典型的数据检索系统，将数据检索技术和数据缓存技术结合起来，极大地提高了检索效率。 　　1.2 内存数据网格文件存储 　　Infinispan是JBoss Cache缓存框架的后续项目，它是一个开源的数据网格平台，用于访问分布式状态的群集节点。它可以提供无固定类型的存储key-value值，文件的存储，基于网格的数据存储。在存储数据方面我们可以设置数据在集群中保存的副本数量；同时提供负载均衡，以及失效节点的数据自动迁移到其他节点的功能[5]。GridFileSystem（网格文件系统）是一个全新实验性的API，这些API使Infinispan后端的网格数据像文件系统一样展示出来。对于实现的系统，集群中某个节点失效时，该节点存储的数据会自动迁移到其他的节点上，实现数据的可靠性存储。同时如果某个节点上存储的数据过多，也能够进行负载平衡。 　　1.3 工具的实现 　　内存数据网格提供系统两种类型的时间存储。一种是文件流形式的数据存储，主要存储的内容是文件。对于这种形式的数据，内存数据网格（Infinispan）首先要先去内存文件系统中取数据，在集群中选择数据所要存放的节点（数据在集群中存两份），然后通过Jgroup进行数据的传输。另一种是Key-Value类型的数据。对于这种数据的存储内存数据网格（Infinispan）直接接收套接字客户端发送过来的Key-Value的键值对，然后在集群中选择两个节点进行存储（数据存放两份），通过Jgroup进行数据的传送。 　　2 实验方