适用于Hadoop的NetApp解决方案.PDFVIP

解决方案简介 适用于 Hadoop 的 NetApp 解决方案 部署可提高性能、减少集群停机时间并且可线性扩展的企业级 Hadoop 平台 主要优势 挑战 提高性能 释放大数据的强大功能 • 将运行时间从数周缩短为几小时。 Apache Hadoop 与其日益壮大的产品生态系统，可以助力企业处理各种各样的 • 与传统 RAID 5 相比，DDP 技术能将 海量数据，从中获得有价值的见解，这是无法通过传统关系数据库分析得出的。 数据重建期间的性能提高 500% 以 依据这些见解，企业上上下下的人员都可以提出有价值的问题并获得更满意的回 上。1 答，有助于他们做出更明智的决策，促进企业实现业务转型。 防止集群停机 不过，由于 Hadoop 初始部署通常依赖于采用内部驱动器的商用服务器，因此基 • 借助高度可靠的 NetApp® E 系列存 础架构的弹性和灵活性问题往往会妨碍企业充分享用 Hadoop 部署的全部优势。 储系统实现 99.999% 以上的可用性。 例如，单个磁盘故障会导致整个集群性能下降。管理磁盘更换是一个持续的过程， 而且容易出错。三重文件复制和故障重新分布模式会增加网络成本和复杂性。不 实现线性扩展 仅如此，对于需要在同一基础架构上混合使用不同处理能力和存储容量的使用情 • 扩展工作负载而不影响性能。 形，利用采用内部驱动器的商用服务器将导致效率低下。 降低运营成本 解决方案 • 快速部署经过预先调整和验证的存储 适用于 Hadoop 的企业级存储 解决方案。 NetApp 面向 Hadoop 的解决方案采用企业级存储组件，这些组件独立于计算服 • 将存储效率提高 33% 并降低运营支 务器提供企业级部署，可减少集群停机时间，提高数据可用性和线性可扩展性。 出。 采用运行动态磁盘池 (Dynamic Disk Pool, DDP) 技术的 NetApp E 系列，即使某 个磁盘发生故障，对性能的影响也是微乎其微。恢复速度比采用内部存储的商用 保持灵活性和选择权 服务器上的典型 RAID 方案快 10 倍。采用这类解决方案，可以无中断添加新的数 • 支持 Apache 兼容的分发软件，包括 据节点，无需进行重新平衡或迁移，而且外部数据保护可以减少存储占用空间和 Cloudera、Hortonworks 和 MapR 。 数据复制开销。 提高性能 通过保持高达 12 GBps 的吞吐量和高达 82.5 万次 IOPS ，NetApp E 系列存储系 统支持带宽密集型运营。在最近一次的 ESG 实验室验证中，对基于 E 系列的一个 10 节点 Hadoop 集群进行了测试。在此配置中，查询 240 亿条非结构化记录的 运行时间从 4 周缩短为 10.5 小时，速度加快了 94% 以上。以前曾超时的另一项 2400 亿条非结构化记录查询只用了 18 个小时。 E 系列可以在处于同一数据管理架构下的适当存储介质（固态驱动器、SAS 驱动 器和 NL-SAS 驱动器）之间存储热数据、温数据、冷数