大数据平台的数据保护方案.pptx

大数据平台的数据保护方案欢迎关注Commvault官方微信！4231解决方案的应用场景销售方法和竞争分析大数据平台数据保护现状和问题Commvault保护大数据的方法大数据平台数据保护现状和问题大数据平台的数据保护现状大数据平台帮助企业分析信息和增加竞争力，通常大数据具有以下特点：节点数量多：分布式架构，由几个到几十个，甚至成百上千节点组成 数据增长快：开始小，但增长迅速，数据总量几十TB—PB级别数据高可用：内置副本机制，防止硬件故障。 大数据管理现状：不备份…大部分数据来自其他业务系统，在大数据平台用于分析，原数据还在其他系统，不需要备份大数据平台自身有副本机制，可提供多份数据，防止硬件故障手工备份 避免空间浪费，提升存储利用率，部分数据只有一份大数据平台本身产生的有效数据，例如分析报告等手工或脚本操作需要大量临时变更， 且只能备份关键数据或每日变化数据数据管理的挑战 大数据平台运行一段时期后，原本是副本的业务数据在大数据平台成了孤本（原业务系统已将历史数据删除）。 “内置的多副本机制”不是一个备份，不能防范逻辑和人为故障，也不能提供历史版本。庞大的数据规模和快速的增长速度使得数据保护和长期保留成为难题 越来越多的业务依赖大数据平台，系统重要程度不断提升，手工和脚本已经无法满足需求。Commvault保护大数据的方法Commvault大数据平台的数据保护解决方案分布式 App应用感知降低生命周期总费用与大数据环境集成，优化性能，简化管理，一个管理策略，就能实现多结点并发备份及恢复。内嵌扩展重复数据删除、数据压缩、加密功能、数据归档和软件定义存储，能有效降低多版本保留的费用。\\Namespace性能驱动编排恢复 新的分布式架构，多结点并行备份/恢复，支持LAN-Free、全备、增量及合成。备份及恢复都能达到30TB/H。能简单进行数据恢复、跨集群及开放文件系统恢复，提供灾难恢复保护，以及安全共享访问。大数据保护架构File access新建分布式应用策略Master Client建立集中保护策略与主服务器集成选择应用环境 (无需脚本)安全规则，告警和作业管理Clustered File System Managers(Namespace)FS Namespace集中管理/编排Distributed FS servers(Redirected File I/O)Worker roles 在数据节点安装客户端，Master服务器协调整个保护策略多数据访问节点传输数据，负载均衡源端去重，数据压缩和加密，包括LAN-FREE选项集中管理并行备份和恢复SAN SwitchesSAN Volumes协调行动/搬迁数据分级保存 / Cloud应用集成 性能(multi stream )大数据保护方案 Hyper-scaleName NodeDiskTapeCommServeCloudMedia AgentsTiered StorageBig Data Cluster软件定义存储Software Defined Hyper-Scale Storage PoolHyper-scale弹性扩展的存储方式内嵌软件定义存储作为备份或归档存储设备降低传统存储投资和品牌锁定NFS接口允许直接访问备份存储库超过80%的使用率，将硬件价值最大化Dynamic ExpansionControl NodeData NodeInternal DisksInternal Network解决方案的应用场景方案应用场景GPFS (Spectrum Scale)HadoopGreenplumWhat:高性能，开源的分布式文件系统Web scale ITApplication:低成本存储和归档数据分析数据仓库What:用于HPC应用程序的高性能集群文件系统IBM开发Application:影像数据数字媒体地震数据处理实时分析工程设计What:高性能，并行集群数据库EMC收购Application:数字分析深度数据库计算启用预测HadoopHadoop是一个开源的分布式平台，为开放式硬件产品提供规模化部署架构内置复制和自我保护机制，防止硬件故障的保护，但不提供时间点恢复Hadoop平台的数据快速增长，在开启内置复制后，通常需要占用生产数据3倍的物理空间HDFSBig DataUseful DataUseful DataCopyFromLocalMAPREDUCECopyFromLocal解决Hadoop数据保护的痛点保护：Commvault为Hadoop用户提供时间点恢复，同时也降低了逻辑错误和用户误操作所带来的风险。性能：使用Hadoop的API可以并行地将多个数据流传输到备份设备中，这为高弹性和数据迅速增长的Hadoop保护带来性能益处。管理：充分掌握数据的生命周期