分布式数据库中间件server层的设计与实现-软件工程专业论文.docxVIP

万方数据 万方数据 Classified Index: TP311 U.D.C:621.3 Dissertation for the Master’s Degree in Engineering THE DESIGN AND IMPLEMENTATION OF DISTRIBUTED DATABASE MIDDLEWARE SERVER LAYER Candidate： Su Fangwen Supervisor： Professor Huang Hujie Associate Supervisor: Engineer He Zhenxing Academic Degree Applied for： Master of Engineering Speciality： Software Engineering Affiliation： School of Software Date of Defence： June, 2014 Degree-Conferring-Institution： Harbin Institute of Technology 哈尔滨工业大学工程硕士学位论文 哈尔滨工业大学工程硕士学位论文 摘 要 随着网络不断发展，新的互联网应用不断涌现，用户数量越来越大，远远 超出了人们的想象。并且大型网站与应用需要 7*24 小时不间断服务，数据库在 处理海量数据和并发数面临着巨大挑战，如果处理不好会造成很严重后果。在 这种局面下，不断提高单个数据库性能花费越来越高，让运营者负担加大。在 此背景下，数据库集群技术为人们所需要。 本文介绍了一个分布式数据库中间件 server 层的设计与实现。首先，根据 系统的应用场景和需求定义确定技术方案，使用数据的水平切分应对海量数据 下集群的处理速度，使用连接池对连接进行整合达到连接复用，同时支持分布 式事务，保证事务的原子性、隔离性、持久性、一致性，采用数据空间、数据 源、数据服务器的三层结构，来保证在后端 server 出现问题时可以及时切换到 备机上继续提供服务的高可用，支持对不同语句的读写分离与负载平衡来进一 步提高系统的整体性能。 然后根据需求定义将系统划分为选项控制器模块、连接池管理模块、后端 管理模块、用户请求处理模块与执行计划构建模块。选项控制模块保证系统各 个参数可配置，用户可以通过配置文件对系统功能进行裁剪，来达到应用需要 的功能。连接池管理模块对后端连接进行管理，连接会根据集群当前负载情况 进行动态创建与清理，保证对资源的合理利用。后端管理模块对整个集群进行 初始化，为数据空间、数据源、数据服务器提供支持。用户请求处理模块对用 户进行身份认证，对用户的数据请求进行优化处理，包括读写分离与负载平衡， 在保证功能的前提下提供高性能服务。执行计划构建模块对用户请求进行构建 执行计划并执行，与后端 server 进行数据交互，同时返回数据给用户。 最后，进行模块测试和系统测试，对系统各个模块进行功能测试，对整个 系统性能测试。测试结果表明各模块满足需求定义的要求，系统响应速度和运 行效果满足设计目标。 关键词：数据库；中间件；分布式；选项控制；水平切分 I - Abstract With the continuous development of the network, various new technique and new business spring up unceasingly, the number of users is growing far beyond peoples imagination. And large sites and applications require uninterrupted service 7 * 24 hours, the database processing huge amounts of data and the number of concurrent faces enormous challenges. It will cause very serious consequences if not handled properly. In such a situation, and con