云平台下的NoSQL分布式大数据存储技术与应用.docVIP

云平台下的NoSQL分布式大数据存储技术与应用 　　随着Web2.0技术的发展，越来越多的非结构化数据比如文档、图片、音乐、视频等产生。IDC研究表明：当前企业中有80%是非结构化数据，并且以60%的增长率在不断增加。如何突破传统技术，实现大规模数据高效存储和利用管理是当前面临的重大挑战。 　　1.NoSQL数据库技术 　　非关系型数据库(NoSQL)是一种全新的非关系型分布式存储技术，该数据库数据不但包括日常的文本数据，还包括如图片、视频、FLASH动画等其他数据，因其具有海量存储、灵活易用、高并发等特点，可以为系统提供一个可扩展的松耦合类型数据模式，该模式严格遵循CAP定理，能够很好地支持非结构化数据的存储，满足高并发读写需求，具有很好的扩展性。 　　目前的NoSQL数据存储主要包括以下几种，具体见表1。 　　(1)键值对存储。通过对提供的键值对数据存储，能够很好地满足系统的读写需求，例如MemcacheDB，Redis，Dynamo。 　　(2)文档数据存储。能够高效满足系统的海量数据存储和访问需求，目前的存储主要包括MongoDB和Couch-DB等，能够很好地提高海量数据存储的访问效率。 　　(3)面向列存储。在面向列的存储系统中，数据以列为存储单位。相同列的数据存储在一起，从而支持列的动态扩展，对某一列或某几列的查询具有明显的I/O优势。典型代表有Hhase，Hypertahle等。 　　2.MongoDB数据库 　　MongoDB数据库不但能够通过系统的键值对存储提高其快速写入和读取，而且能够很好地兼容传统关系型DBMS功能，它主要可以提供一种功能强大、灵活、可扩展的无结构的存储方式，该存储方式采用松散的BSON数据结构进行存储。 　　MongoDB的主要特性如下： 　　(1)扩展性好：McngcDB数据库在设计初期，首先考虑到数据库的扩展问题，通过采用无模式的存储结构可以快速对服务器进行自动分割。采用MongoDB数据库的自动分片机制，可以实现集群中数据的动态负载均衡。 　　(2)数据存储丰富多样化：MongoDB是面向文档的数据库，MongoDB拋弃关系存储模型，用户在进行添加模块时不用事先定义，即可横向灵活的更改数据模型。 　　(3)检索功能丰富：该数据库不但支持辅助索引，而且方便存储JavaScript脚本和MapReduce等模式。 　　(4)性能引擎优良：MongoDB数据库中的文档数据可以动态扩充，通常先将存储引擎配置到内存映射文件中，实现数据文件进行预分配，然后通过采用空间转换的形式，确保数据库的性能稳定。 　　(5)配置管理便捷:MongoDB数据库为提升系统的可靠性和稳定性，通常采用服务器自身机制完成配置功能。MongoDB数据库的核心是文档数据，每个文档数据中的字段名和值--对应存放在表中。可以通过Monshy;goDB数据库实例方便管理相应的数据库表。 　　2.1分片 　　在MongoDB数据库中，每个分片均由一台或多台服务器构成，该服务器的功能主要是通过运行MongoDB进程实现数据的存储。但在实际环境中，为了提高系统的可靠性和实现自动故障恢复，每个分片可以独立看作是一个replicaset，replicaset从本质上来讲，它是一*种异步的主从复制机制，每个replicaset至少包括一个主节点和一个以上副节点。主节点主要负责数据的写入， 　　副节点主要负责数据的读取。replicaset中两类节点之间通过oplog保证数据的一致性，所有操作数据及时间戳都会被写入oplog，因其大小固定，所有的副节点均会监听oplog的变化情况，以实现与主节点的同步。replicaset通常能够实现两个以上子节点的故障自动恢复。 　　2.2配置服务 　　配置服务主要用来存储MongoDB数据库集群的元数据信息，这些元数据信息来源于两方面：一部分是分片服务器上的集群信息;另一部分是该分片集群服务器上的文档数据和集合信息。每一个配置服务信息中都包括了MongoDB数据库中的群集信息，通常采用一个两阶段协议实现相互之间的通信，确保配置信息的一致性。配置服务器目前拥有自己的复制模型，可以对集群元数据信息备份。当任何一个集群服务器发生宕机时，集群中的元数据就自动变为只读状态，通过此种方式能够有效避免系统在不稳定的情况下，误操作导致元数据信息被改动，避免configservers节点间出现元数据不一致的情形。数据库集群中某一配置服务器发生异常，不会影响整个集群的正常工作，最终能够确保集群中写人数据或从集群中读取数据。 　　2.3路由进程