华云数据弹性大数据服务Spark产品介绍——易用低成本的大数据服务.PDF

华云数据弹性大数据服务（Spark ）产品介绍 ——易用低成本的大数据服务 Version 1.0 一． 前言 互联网时代的飞速发展，企业产生的数据也与日俱增，如何让这些复杂无序的数据产生 价值，如何让企业轻松驾驭这些海量数据信息来创新、快速洞察商机，这是现今企业的迫切 需求。传统数据的处理分析能力已经不能满足要求，大数据时代的到来解决了这迫在眉睫的 需求。华云数据弹性大数据服务打造了高可靠、高安全、易使用的运行平台，对外提供大容 量的数据存储和分析能力，可解决各大企业的数据存储和处理需求。 Spark 是新一代的开源大数据处理框架，做为基于内存的迭代计算框架，它有着比传统 MapReduce 更加卓越的性能，特别适用于迭代计算和交互式分析的场景。Spark 以RDD （Resilient Distributed Dataset，分布式容错数据集）为基础，提供了完整的技术栈， 可以支持流式计算（Spark Streaming）、结构化数据处理（SparkSQL）、机器学习（MLlib） 以及图计算（GraphX）等。Spark 的这些技术优势使得它成为了用户首选的大数据处理平台。 二． 产品介绍 1. 关于华云 Spark 服务 华云提供的 Spark 服务可以帮助您在很短的时间内部署一个可用的 Spark 集群，能有 效解决大数据计算中的批处理，流式计算等核心问题。借助华云稳定的云服务器和稳定、安 全的存储后端，通过几步操作后，不仅可以建立起纯计算类型的 Spark 集群，还能结合 Hadoop 的存储服务，建立出计算和存储相结合的处理集群。同时，应不同的处理能力需求， 您还可以动态地调整Worker 节点的数量，实现集群的横向扩展能力。当您在不需集群时可 以立即销毁集群，我们仅按照您的实际使用量收取费用。 2. 功能描述 海量数据分布式处理 PB 级以上海量数据的处理分析，拥有传统数据库无法匹敌的处理能力。 人工智能机器学习 提供数据批量导入、数据建模、数据存储、数据可视化和全流程数据分析处理能力，为进一 步数据价值的挖掘提供依据和基础。 实时流计算 基于流式计算模式框架，实现秒级海量数据实时入库和实时计算，具有低延迟、可扩展和容 错性等诸多优点。 作业管理 登录后台控制中心提交和管理作业，作业自动运行，无需人工干预，简单易用。 3. 产品优势 动态伸缩 华云的Spark 集群提供在线横向伸缩Worker 节点的功能，通过在线伸缩，您可以快速地增 加自己的计算业务，同时在计算任务很少的时候，也可以缩减节点数量，从而节省您的开支。 数据安全 华云为您提供免费的创建私网服务，Spark 集群完全建立在私网之内，使您不必担心数据的 安全问题。 集成HDFS 华云为您提供了纯计算的Spark 集群，同时也可以根据自己的业务需求，集成HDFS 到Spark 集群中，极大地方便了您的使用场景。 易用 弹性大数据使用简单，用户只需几分钟就可以启动大数据集群，用户不必花时间关注节点调 配、集群配置和集群调试。弹性大数据会自动处理这些任务，用户只需集中精力分析。 低成本 免运维，计算和存储分离，计算的集群可以按需创建，作业运行结束就可以释放集群，提升 资源使用效率。 4. 应用场景 大数据分析处理 应用：大数据的在线和离线处理。 场景特点：需要大量机器同时对海量数据进行长时间、大计算量的分析处理。 适用场景：工业渲染；自然科学模拟；生物特征分析；时空轨迹分析；药物研发；商业证券 期货模拟；日志分析；离线分析、在线分析。 大数据存储 应用：大数据的存储和检索。 场景特点：大数据存储、检索、容灾备份，确保数据安全。 适用场景：工业渲染数据存储；自然科学模拟数据存储；时空轨迹数存储；药物研发数据存 储；商业证券期货数据存储；日志存储。 实时流计算 应用：实时流计算。 场景特点：源源不断产生海量数据，时效性要求高，需要实时数据分析处理，需要根据实时 数据迅速分析处理和决策。 适用场景：广告点击流实时跟踪分析；网站用户浏览行为的处理分析，实时交通流量的分析 处理；实时公共场所人流量的分析处理，商业证券期货走势分析。 人工智能学习 应用：基于人工智能的机器学习。 场景特点：根据大数据的数据特征和价值建立模型并实现自动化处理。 适用场景：信用卡及网上交易欺诈侦测；网站内容的个性化推荐；评论内容的过滤与归类； 舆情监控；客户流失预测；自动化解决方案推荐。