分布式数据库中间件驱动模块的设计与实现-软件工程专业论文.docxVIP

万方数据 万方数据 Classified Index: TP311 U.D.C.: 621.3 Dissertation for the Master?s Degree in Engineering DESIGN AND IMPLEMENTATION OF DRIVER MODULE FOR DISTRIBUTED DATABASE MIDDLEWARE Candidate： Qiao Hongyu Supervisor： Associate Prof. Chen Yin Associate Supervisor: Senior Engineer He Zhenxing Academic Degree Applied for： Master of Engineering Speciality： Software Engineering Affiliation： School of Software Date of Defence： June, 2014 Degree-Conferring-Institution： Harbin Institute of Technology 哈尔滨工业大学工程硕士学位论文 哈尔滨工业大学工程硕士学位论文 摘 要 随着信息技术的发展，人们对于数据的存储与检索的观念发生了巨大的变 化。人们更倾向于将个人数据保存到互联网中，比如社交网络等。现在，越来 越多的数据也都从个人的硬盘转移到了互联网上。当数据量到达一定规模后， 这些数据就被称为海量数据。现如今，数据库的发展速度已经明显慢于数据的 增长速度。为了能够快速且稳定地管理这些数据，我们就需要使用分布式数据 库。 分布式数据库将数据分散到不同的数据存储服务器中。当上层应用对数据 进行操作时，中间件会根据数据的分布规则去对应的数据存储服务器上获取数 据，从而减少平均每台服务器的并发数，进而在整体上提高数据库的性能。分 布式数据库中间件严格遵循 MySQL 的通信协议和 SQL 标准，同时它还处在应 用层和数据库集群的中间，通过截获客户端发往服务器的数据，并对 SQL 或者 其他请求进行分析、重构和转发，将语句发往对应的 MySQL 数据库实例；再 从相应的数据库获取信息，转发至对应的客户端。通过该中间件可以方便地对 后端数据库集群进行不同层次分布式部署。这样，分布式数据库就有了传统关 系型数据库的特点，也有分布式数据库的优点。 本文主要描述分布式数据库中间件驱动模块的设计与实现。驱动模块包含 三部分内容：数据通信、集群管理和执行计划构建。数据通信功能主要使用 ACE 自适配通信环境（ADAPTIVE Communication Environment）进行开发，用来实 现中间件与客户端应用、中间件与 MySQL 服务器的数据通信，同时还能对部 分常用的 MySQL 数据包进行解析。 集群管理的主要功能有对数据库集群状态的监控；实现数据库集群读写分 离、负载均衡、故障切换和回切；对数据库集群进行逻辑划分，实现数据库分 片。读写分离和负载均衡可以有效地缓解高并发带来的性能损耗。故障切换和 回切功能给集群提高了可靠性。集群采用双机互备、一主多从的解决方案，这 样可以避免由于单点故障导致整个集群不可用的问题。 执行计划构建主要是设计和实现了数据导入语句 LOAD DATA INFILE、排 序查询语句 SELECT ORDER BY LIMIT 和数据定义语言 DDL（Data Definition Language）。在实现执行计划过程中，使用了大量的优化方案和排序算法，从而 提高了语句执行的性能。 最后，对需求中提出的全部功能进行了测试。同时，还对分布式数据库中 I - 间件驱动模块的数据导入语句和排序查询语句进行了性能测试，以保证在实现 过程中没有执行效率和性能的回落。测试通过后驱动模块已经可以交付使用， 并且成为了整个分布式数据库中间件的重要组成部分。 关键字： 分布式数据库；中间件；集群管理；执行计划构建 II - Abstract With the development of the information technology, People have changed their attitude a lot on data storage and retrieval. People prefer to keep the data in the Internet, such as Social Network Service. And now, more and more data are stored into the Internet instead of personal hard disk. When there are a lot