分布式海量数据处理系统计算节点的设计与实现-计算机软件与理论专业论文.docxVIP

万方数据 万方数据 电子科技大学学位论文使用授权声明 本人 学号 在导师的指导下创作完成毕 业论文。本人已通过论文的答辩，并被电子科技大学授予博士／硕士/ 学士学位。本学位论文作者完全了解“电子科技大学关于保存、使用 学位论文的管理办法”，即： 本人按照学校要求提交学位论文的印刷本和电子版本； 学校按规定保存提交学位论文的印刷版和电子版，并提供目录 检索与阅览服务； 学校可以采用影印、缩印或其他复制手段保存学位论文； 学校可以按著作权法及知识产权法的有关规定公布学位论文 的全部或部分内容。 作者签名： 导师签名： 日 期： 年 月 日 万方数据 万方数据 摘 要 摘 要 随着互联网的快速发展，各类大型企业和互联网公司对数据的处理形式越来 越多样化。一般情况下，需要对用户海量数据进行有效地处理及分析。由于数据 量巨大，所需的计算量不是单台电脑在合理的时间内能够完成的。针对海量数据 处理的应用背景，我们设计实现了基于分布式计算的海量数据处理系统。本文主 要针对这一系统中的子节点分布式计算节点的设计与实现展开研究。分布式海量 数据处理系统的目的在于快速的处理海量数据，即具有高效和高可靠的数据分析 处理机制。其思想主要是借鉴 Map/Reduce 的基本思想将海量数据以结构化的形式 分布到多个数据节点中，再根据一系列的计算，从多个数据节点中提取用户需要 的数据进行分析和查询。本文着重介绍系统中计算节点的设计思想与实现技术， 提出了多层次通信处理框架，并在此框架上设计了一种动态分级归并查询策略， 实现一个具有高效及高可靠性的分布式计算系统。 本文主要做了以下几方面的工作： 第一，分布式海量数据处理系统的基础架构设计。通过对现有的分布式计算 技术的研究与对比，面向电信数据提出了主要由主控节点与计算资源池节点组成 的分布式海量数据处理系统的基本结构框架，该架构满足了电信海量数据分布式 计算的要求，避免由集中式系统或纯分布式系统所带来的不可靠性、可控性不高 等问题。 第二，子系统计算节点的设计与实现。设计并实现了分布式海量数据处理系 统中计算节点服务器的多层次通信框架结构，使之具有高性能高可扩展性，实现 业务与平台无关性，并针对电信大量数据提供了实际应用中（对网元数据进行收 集，汇总，查询）的分布式计算功能。 第三，计算节点中查询任务机制的设计与实现。通过对 Map/Reduce 框架的分 析，在计算节点中针对数据实时的结构化的查询设计实现了动态分级归并查询策 略，使得系统具有较为高效的实时查询机制。 最后对分布式海量数据处理系统的计算节点进行功能测试，性能测试。测试 表明了计算节点的有效性和高效性。 关键词： 分布式计算，可靠性，平台化，动态分级归并查询 I ABSTRACT ABSTRACT With the rapid development of Internet, all kinds of large enterprises and Internet companies are more and more diverse forms of processing of the data. Under normal circumstances, operators need to process and analyze huge amounts of data efficiently. Due to the huge amount of data, the calculation is done only by a single computer or within an acceptable time is impossible. We design and implement massive data processing system based on distributed computing for massive data processing applications. This thesis evolved this research mainly aimed at the design and implementation of distributed computing node which is the sub node of the system.The aim of distributed massive data processing system is processing huge amounts of data, namely the efficient and highly reliable data analysis and processing mechanism. Their though