云计算在电信数据与商业智能分析中的应用研究8.pdfVIP

i 云计算在电信数据与商业智能分析中的应用研究 龚德志 。段 勇 (中国电信股份有 限公司上海研究院 上海 200122) 来说虚拟资源具备与物理资源相同的使用功能，同时还可 1 引言 以有不同的属性，如价格、容量、可调整性等。 云计算是一种新型的业务交付模式，同时也是新型的 (2)自动化部署 IT基础设施管理方法。通过新型的业务交付模式，用户将 云计算的一个核心思想是通过 自动化的方式尽可能 通过网络充分利用优化的硬件、软件和网络资源，并以此 地简化任务，使得用户可以通过自助服务方式快捷地获取 为基础提供创新的业务服务。新型的IT基础设施管理方 所需的资源和能力。部署是基础设施管理中十分重要，也 法让IT部门可以把海量资源作为一个统一的大资源进行 是需要花费很大工作量的一部分，包括操作系统、中间件 管理。支持IT部门在大量增加资源的同时无需显著增加 和应用等不同层次的部署。自动化部署可提供简化流程， 相应的人员进行维护和管理。 用户提出申请后由自动化部署平台根据调度和预约自动 完成相应的部署，因此用户只需花十几分钟，甚至几分钟 2 云计算相关技术 就可以得到一个完整的环境，极大地提高了工作效率。 (1)虚拟化 (3)应用规模扩展 虚拟化可以大幅度提高组织过程中资源和应用程序 云计算提供了一个巨大的资源池，而应用的使用又有 的效率和可用性。虚拟化把物理资源和最终呈现给用户的 不同的负载周期，根据负载对应用的资源进行动态伸缩可 资源进行了分离，实际上是一个替代过程，在具有统一良 以显著提高资源的有效利用率，即高负载时动态扩展资 好架构设计的物理资源上创建出多个替代资源(即虚拟资 源，低负载时释放多余的资源，这就是应用规模扩展技术 源)，替代资源和物理资源具有相同的接口和功能，对用户 所解决的问题。该技术以应用为基本单位，为不同的应用 电信科学 20∞ 霎 架构设定不同的集群类型，每一种集群类型都有特定的扩 实际上提供数据的节点。 展方式，然后通过监控负载的动态变化，自动为应用集群 (6)分布式计算 增加或者减少资源。 基于云平台的最典型的分布式计算模式是MapReduce (4)分布式文件系统 编程模型。MapReduce将大型任务分成很多细粒度的子任 分布式存储的目标是利用云环境中多台服务器的存 务。这些子任务分布式在多个计算节点上进行调度和计 储资源来满足单台服务器所不能满足的存储需求。其特征 算，从而在云平台上获得对海量数据的处理能力。概念 是，存储资源能够被抽象表示和统一管理，并且能够保证 M“ap(映射)”和 R“educe(化简)”的主要思想都是从函数式 数据读写与操作的安全性、可靠性等各方面的要求。 编程语言里借来的，还有从矢量编程语言里借来的特性。 云计算催生了一些优秀的分布式文件系统和云存储 当前的软件实现是指定一个Map(映射)函数，用来把一组 服务。最典型的云平台分布式文件系统是Google的GFS 键值对映射成一组新的键值对，指定并发的Reduce(化简)