海量结构化数据存储检索系统.docVIP

海量结构化数据存储检索系统吴广君１ 王树鹏１ 陈明２李超３ 海量结构化数据存储检索系统 吴广君１ 王树鹏１ 陈 明２ 李 超３ １００１９０） １ （中国科学院计算技术研究所 北京 ２ （北京邮电大学 北京 １００８７６） ３ （国家计算机网络应急技术处理协调中心 北京 （ｗｕｇｕａｎｇｊｕｎ＠ｓｏｆｔｗａｒｅ．ｉｃｔ．ａｃ．ｃｎ） １０００２９） ＭａｓｓｉｖｅＳｔｒｕｃｔｕｒｅｄＤａｔａＯｒｉｅｎｔｅｄＳｔｏｒａｇｅａｎｄＲｅｔｒｉｅｖｅＳｙｓｔｅｍ ＷｕＧｕａｎｇｊｕｎ１ ，ＷａｎｇＳｈｕｐｅｎｇ１ ，Ｃｈｅｎ Ｍｉｎｇ２ ，ａｎｄＬｉＣｈａｏ３ １ （ＩｎｓｔｉｔｕｔｅｏｆＣｏｍｐｕｔｉｎｇＴｅｃｈｎｏｌｏｇｙＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１００１９０） ２ （ＢｅｉｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｂｅｉｊｉｎｇ１００８７６） ３ （ＮａｔｉｏｎａｌＣｏｍｐｕｔｅｒＮｅｔｗｏｒｋＥｍｅｒｇｅｎｃｙＲｅｓｐｏｎｓｅＴｅｃｈｎｉｃａｌＴｅａｍ?ＣｏｏｒｄｉｎａｔｉｏｎＣｅｎｔｅｒｏｆＣｈｉｎａ，Ｂｅｉｊｉｎｇ１０００２９） Ａｂｓｔｒａｃｔ ＢｉｇＤａｔａｈａｓｅｍｅｒｇｅｄａｓａｎｅｗｔｙｐｅｏｆｄａｔａｉｎｔｈｅｃｌｏｕｄｃｏｍｐｕｔｉｎｇ．ＴｈｅｔｒａｄｉｔｉｏｎａｌＲＤＢＭＳ ｉｓｎｏｌｏｎｇｅｒｆｉｔｔｏ ｍａｎａｇｅ Ｂｉｇ Ｄａｔａｉｎｆａｃｅ ｏｆｔｈｅｌａｒｇｅｓｔｏｒａｇｅｓｉｚｅａｎｄ ｈｉｇｈ ｑｕｅｒｙ ｅｆｆｉｃｉｅｎｃｙ． Ｃｕｒｒｅｎｔｌｙ，ｔｈｅＮｏ－ＳＱＬ（ｎｏｔｏｎｌｙＳＱＬ）ＤＢｃａｎｐｒｏｖｉｄｅｄｉｓｔｒｉｂｕｔｅｄｓｔｏｒａｇｅｅｎｖｉｒｏｎｍｅｎｔ，ｂｕｔｉｔｃａｎｎｏｔ ｓｕｐｐｏｒｔｍｕｌｔｉ－ｃｏｌｕｍｎｓｑｕｅｒｉｅｓ．Ｗｅｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔｄｉｓｔｒｉｂｕｔｅｄ Ｍａｓｓｉｖｅ ＤａｔａＳｔｏｒａｇｅＳｙｓｔｅｍ （ＭＤＳＳ）ｆｏｒｓｔｒｕｃｔｕｒｅｄ ｄａｔａ ｓｔｏｒａｇｅ． ＭＤＳＳ ｕｓｅ ｇｌｏｂａｌｄｉｓｔｒｉｂｕｔｅｄ Ｂ ＋ ｔｒｅｅ ａｎｄｌｏｃａｌｉｎｄｅｘｉｎｇ ｓｔｒｕｃｔｕｒｅｔｏｍａｎａｇｅｄａｔａｓｏｕｒｃｅｗｉｔｈｃｏｌｕｍｎ－ｂａｓｅｄｓｔｏｒａｇｅｓｔｒｕｃｔｕｒｅ．Ｔｈｅｑｕｅｒｙｐｌａｎｎｉｎｇｍｅｃｈａｎｉｓｍ ｗａｓｂｕｉｌｔｆｏｒ ｍｕｌｔｉ－ａｔｔｒｉｂｕｔｅｓｑｕｅｒｙ，ｆｕｚｚｙ ｑｕｅｒｙ ａｎｄ ｄａｔａｓｔａｔｉｓｔｉｃｓｑｕｅｒｙ ｂａｓｅｄ ｏｎ ＭＤＳＳ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔｒｅｓｕｌｔｓｅｘｐｏｓｅｄｔｈａｔｔｈｅｔｅｃｈｎｉｑｕｅｓｆｏｒｄｉｓｔｒｉｂｕｔｅｄｓｔｒｕｃｔｕｒｅｄ ｄａｔａａｎｄ ｑｕｅｒｙ ｐｌａｎｎｉｎｇ ｍｅｔｈｏｄｓｃａｎｉｍｐｒｏｖｅ Ｂｉｇ Ｄａｔａｑｕｅｒｙｅｆｆｉｃｉｅｎｃｙｓｉｇｎｉｆｉｃａｎｔｌｙ．ＭＤＳＳｉｓｓｕｉｔａｂｌｅｔｏ ｍａｎａｇｅ ｍａｓｓｉｖｅ ｓｔｒｕｃｔｕｒｅｄｄａｔａ，ｓｕｃｈａｓｌｏｇ－ｓｔｒｕｃｔｕｒｅｄｄａｔａ，ｓｔｒｅａｍｉｎｇｄａｔａｅｔｃ． Ｋｅｙｗｏｒｄｓ ｂｉｇｄａｔａ；Ｈａｄｏｏｐ；ｄａｔａｑｕｅｒｙ；Ｎｏ－ＳＱＬ ＤＢ；ｍａｓｓｉｖｅｓｔｏｒａｇｅ 摘 要 ＢｉｇＤａｔａ是近年在云计算领域中出现的一种新型数据，传统关系型数据库系统在数据存储规 模、检索效率等方面不再适用．目前的分布式 Ｎｏ－ＳＱＬ 数据库可以提供分布式数据存储环境，但是无法 支持多列查询．设计并实现分布式海量结构化数据存储检索系统（ＭＤＳＳ）．系统采用列存储结构，采用 集中分布式 Ｂ＋ Ｔｒｅｅ索引和局部索引相结合的方法提高检索效率．在此基础上讨论复杂查询条件的任 务分解机制，支持大数据的多属性检索、模糊检索以及统计分析等查询功能．实验结果表明，提出的分布 式结构化数据管理技术和查询任务分解机制可以显著提高分布式条件下大数据集的查询效率，适合应 用在日志类数据、流记录数据等海量结构化数据的存储应用场合． 关键词 大数据；Ｈａｄｏｏｐ；数据检索；Ｎｏ－ＳＱＬ 数据库；海量数据存储 中图法分类号 ＴＰ３９３ 收稿日期：２０１２－０１－０４ 基金项目：国家自然科学基金项目；国家“八六三”高技术研究发展计划基金项目（２００９ＡＡ０１Ａ４０３，２００７ＡＡ０１０５０１，２００７ＡＡ０１Ｚ４６７， ２００７ＡＡ０１Ｚ４７４） 计算机研究与发展２０１２，４９（增刊）２ＢｉｇＤａｔａ是近年在云计算领域 计算机研究与发展 ２０１２，４９（增刊） ２ ＢｉｇＤａｔａ是近年在云计算领域提出的对数据的 加载效率、存储规模以及数据