云计算大数据处理-数据立方与hive对比测试2.docVIP

下载本文档

0
0
约2.27千字
约 9页
2017-01-10 发布于贵州
举报
版权申诉

云计算大数据处理-数据立方与hive对比测试2.doc

1、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
7、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

云计算大数据处理-数据立方与hive对比测试2云计算大数据处理-数据立方与hive对比测试2

云计算大数据处理分布式数据库 -数据立方与Hive对比测试报告一、目的最近进行了云创存储的数据立方性能测试，并将其与开源数据仓库Hive进行了对比，从而得出在廉价的服务器上两者的性能测试结果。二、测试内容本次测试主要从数据查询方面进行对比测试，具体测试内容如下：统计单表记录数测试项序号测试内容执行SQL hive 1 统计查询800W条 select count(*)from e_mp_power_curve; 2 统计查询1000W条 select count(*) from a_tmnl_task; 数据立方 1 统计查询800W条 select count(*)from e_mp_power_curve; 2 统计查询1000W条 select count(*) from a_tmnl_task; 查询单表字段数据测试项序号测试内容执行SQL hive 1 查询e_mp_power_curve表 select id,DATA_TYPE,DATA_POINT_FLAG,DATA_WHOLE_FLAG from e_mp_power_curve where id=100001100; 2 查询a_tmnl_task select TMNL_TASK_ID,TERMINAL_ID,TASK_ID from a_tmnl_task where tmnl_task_id=100001000; 数据立方 1 查询e_mp_power_curve表 select id,DATA_TYPE,DATA_POINT_FLAG,DATA_WHOLE_FLAG from e_mp_power_curve where id=100001100; 2 查询a_tmnl_task select TMNL_TASK_ID,TERMINAL_ID,TASK_ID from a_tmnl_task where tmnl_task_id=100001000; 两表join查询测试项序号测试内容 hive 1 A表1000W数据，B表800W,两表join 2 A表1000W数据，B表1000W,两表join 数据立方 1 查询e_mp_power_curve表 2 查询a_tmnl_task 三表join查询测试项序号测试内容 hive 1 A表1000W数据，B表800W,C表800W三表join 数据立方 1 A表1000W数据，B表800W,C表800W三表join 三．测试环境 Hive 数据立方控制节点数量(台） 1 1 处理节点数量（台） 9 9 cpu IntelE5-26202.0G/15M/6C IntelE5-26202.0G/15M/6C 内存 32G 32G 网络千兆以太网千兆以太网硬盘 3T×2 3T×2 软件版本 hive-0.9.0-cdh4.1.2 datacube-1.0 四．测试结果 1.单表数据量查询性能对比测试产品名称数据量(条) 查询时间(ms) hive 800W 115114 1000W 38887 数据立方 800W 23340 1000W 6910 通过相同环境下测试可以看出：数据立方单表统计查询速度是Hive的至少3-5倍。单表字段查询性能对比测试产品名称数据量(条) 查询时间(ms) hive 800W 17659 1000W 18883 数据立方 800W 370 1000W 1360 从数据图可以看到单表字段查询时数据立方速度是hive的5-10倍。两表join查询性能对比测试结果集（条） A表 B表 hive查询时间（ms）数据立方查询时间(ms) 10W 1000W 800W 41667 3950 50W 1000W 800W 48296 6880 从数据图可以看到两表join查询时数据立方速度是hive的6-10倍以上。三表join查询性能对比测试结果集 A表 B表 C表数据立方查询时间(ms) 数据立方查询时间(ms) 1000条 1000W 1000W 800W 65550 7170 7000条 1000W 800W 800W 67891 7710 从数据图可以看到三表join查询时数据立方速度是hive速度的几乎10倍。 GangLia监控截图： 1个小时内CPU负载情况图 1个小时内内存使用情况图