研究分析数据库拆分dbShards简介.docVIP

数据库拆分dbShards简介 概述 dbShards作为国际上第一个真正帮助用户突破数据库I/O瓶颈实现系统性能线性扩展的数据库性能优化软件，在美国，欧洲拥有众多的客户。产品本身采用了近年来数据库领域的必威体育精装版技术，如数据库拆分技术（Database Sharding），列数据库存储技术（Column Storage System），对于学术研究有很大的参考价值。 技术 dbShards通过数据库水平拆分技术突破了系统I/O瓶颈，解决了数据库扩展（database scaling）这个行业难题。数据库水平拆分技术被eBay，Amazon，Google大量运用于互联网服务中，使得其能够同一时间内响应超量用户请求。作为数据库水平拆分技术的行业主导者，dbShards对于运行环境没有特别要求，能够运行于数据中心，公共云平台，又或者第三方托管平台。 不同于传统的数据仓库等技术，dbShards通过将独立的主机组建为一个透明的数据库集群，使用户请求被均匀分布到各个节点进而实现快速响应。这样的“零共享”架构可以通过最小化单机处理量来缩短联机事物处理的响应时间，进而提高系统整体的可扩展性。 为提高数据库的性能，dbShards严格遵守了数据库的基本原则。实践这些原则也是保证数据库高性能的唯一途径： 原则1：数据库越小，数据库响应越快… 原则2：数据库越大，数据库响应越慢… 原则3：始终保证数据库小型化。 图形1给出了一个基于dbShards搭建的4节点数据库集群架构。应用服务器上运行dbShards/Client客户端实现对数据库集群的访问（dbShards提供各种语言的数据库驱动，包含C，Java，PHP，Python以及Ruby）。每个数据库节点运行一个独立的数据库（如MySQL），每个数据库有相同的数据模型（Database/Table），系统通过dbShards备份代理（dbShards replication agent）和dbShards查询代理（dbShards query agent）实现协同工作。数据拆分策略根据具体应用场景、数据库的架构、数据表的定义而定。在这个示例中，我们采用了用户的ID（Customer ID）作为拆分的关键字（Key），采用了取模算法（modulus）来决定含有特定用户ID的行数据该存放到哪个分区服务器中去。 特点 1、根据数据量，最大化独立数据库服务器的可用CPU和内存等硬件资源。 图形2展示了MySQL数据库写操作基于dbShards的“零共享”集群架构实现了线性的扩展。试验中，通过在亚马逊EC2环境中将数据库分片从1台扩展到4台，数据库的写操作效率从2000 INSERT/秒提高到10,000 INSERT/秒，实现了高于400%的增长。在数据库的读操作处理中，通过dbShards技术可以实现更明显的超线性扩展。 2、基于各种数据库水平拆分策略将大型的数据库拆分为小型数据分区。 当应用的负载超过单服务器的处理能力时，数据库的性能会受到直接的影响，通过水平拆分横向扩展数据库可以有效的解决这一问题。dbShards提供基于C、JDBC等标准的数据库驱动，可广泛应用于PHP/Python/Perl/Ruby等开发框架，进而简化采用dbShards需要的更新操作，尤其不需要重写相关的数据操作代码。 3、设计中充分考虑可能存在的任何系统错误，通过实时的连续备份策略确保数据的准确性，一致性和可用性。 如图形3所示，在“带外复制”的执行过程中，每个待处理的写操作事务被并行提交到 “主数据库”（primary database）以及“主数据库备份代理”（primary replication agent）。在主数据库执行该事务将数据写入主数据库中之前，“主数据库备份代理”将该事务发送到“次级数据库备份代理”（secondary replication agent）让其将相同的写操作提交到次级数据库。这样的执行流程保证了任何一个写操作事务同时存在于至少两个数据库服务器上，即便主数据库宕机，我们也能通过次级数据库迅速恢复数据，保证数据库的可用性。 安久云计算 国内领先的公有云提供商和平台提供商 苏州安久 电话：051262398988 地址：江苏省苏州市高新区科灵路78号 - 1 - 传真：0512