B云计算数据基础设施何小朝.pptx

云计算数据基础设施------战略、技术与实践议程1数据管理与云计算数据简析时代的挑战到底什么是云计算？纵横云技术2云计算数据基础设施 云计算---数据为王云数据管理：NoSQL，MR，MySQL联邦及其它新一代主流关系数据库技术分析云计算数据基础设施3大数据理念与方法 到底什么是大数据？企业大数据理念与方法4云数据库的设计与实践设计核心理念逻辑与物理架构设计主要功能点与关键核心技术与其它云数据库的比较分析未来研发规划“数据”简析——追根溯源数据产生于计算机出现之前：书本、地图、艺术等计算机出现以后，数据的内涵与表现形式都发生了巨大变化在存储介质层面，数据表现为各种能保存0，1两种状态的载体在逻辑层面，数据表现为组织与使用方式物理层面的问题也是数据领域的一个重要领域数据是客观物质及其某方面的特征。 我们并没有研究数据，而只是数据的表现形式我们从不负责创造数据，而只是表示、存储、展现与发现了数据 今天，我们讨论的主要是指逻辑层面，可称为数据管理逻辑层面（数据管理）物理层面（存储介质：卡片，内存、磁盘、光盘、磁带量数据管理——时代的挑战数据管理最大的挑战是：高负荷下的海量数据管理IDC研究表明：全球数据产量仅2011就达1.8ZB(或1.8万亿GB，每个美国人每分钟写3条Twitter信息，共写2.6976万年；未来十年的全球数据量将增长50倍。主要有两类情况：一类是原有数据种类量的增加另一类是过去我们没关心或没能力关心的数据：如Weblog，社交媒体，实时位置，智能设备、传感器计量等挑战海量管理能力，多类型，变化快，高可用性，低成本，高端可扩展性 很多传统的技术已经难以应对！基本概念：云计算与云技术首先必须清楚：云计算与云技术是两个不同的概念，两者并没有必然联系。这是目前对“云”的理解最混乱的一点相当的组织与人员，将云计算普遍理解为：综合采用一堆廉价计算或存储资源，完成高性能任务或存储海量数据分布式云计算实际上是指未来数字社会的主体运营模式有人说：我这是云计算，你那不是！这眼界太窄！广义地讲，这里认为：凡是能让各种丰富的软硬件资源，通过各种技术途径（如网络），以端服务的方式提供给用户的所有技术，都属于云计算的范畴！云计算+=？云计算云技术虚拟化=？基本概念：分析总结本质上讲，你如果能用最简单、最原始的技术，完成云的业务目标，你就是正宗的云计算！但绝大多数情况下，要将我们的传统业务模式转变成为云计算模式，或者要创造新的云计算业务，我们以前所掌握的技术手段或采用的技术架构都必须做出相应的改变从这个角度来讲，说云计算是技术为主的东西，自然也是对的一定要意识到：没有先进可靠的技术支持，你的商业规划一定无法落地！云计算业务模式？技术？云计算的本质是业务模式，但其核心却是技术虚拟化虚拟化技术并不是新技术，很早就在计算机体系结构、操作系统、编译器和编程语言等领域得到了广泛应用，但云计算却对虚拟化技术的成熟与推广普及起到了巨大 作用。思想：将一台物理设备切分成很多小片，可以被用户当成多台设备来使用，包括CPU，存储，网络等作用：大大降低了管理复杂度，提高了资源利用率，提高了运营效率，从而有效地控制了成本。它对云计算的实现与推广有着相当重要的作用分布式计算与MapReduce与虚拟化一样，分布式计算也不是新技术，存在的历史悠久，包括网格，集群，并行文件系统，分布式数据库等等历史： 以前，对高端的分布式计算技术的使用并不是那么方便，对技术人员要求高，价格也相对昂贵； 同时，对大型分布式计算的需求也不是特别普及，大多集中于较高端的科技组织现在： 互联网应用的迅速发展与数据量的快速膨胀，大大推动了人们对大型分布式计算的需求 MapReduce：MapReduce计算模型的出现，加速了大型 分布式计算的普及，同时也有力支持了云计算模式的实现可能MapReduce: 将一个大任务（数据）分割成许多小任务（数据），然后：分布并行处理结果合并云产品数据中心集装箱（云箱）： 交换机，服务器，存储，环境保护设备等的一体机 绿色，一体化，灵活，大型数据中心构建与维护大大增强云终端： 专用端设备，移动终端，物联网云管理平台： 设备，业务，服务三个层面，为云架构中集成层面的中间件云存储： 将中小企业或个人的数据存储到云上……云数据管理描述：泛指不同于主流集中式关系数据库的海量分布式数据管理技术。 不是新技术，历史悠久，互联网与Web2.0大大推动了其普及与发展特点：去中心化，低成本，无限水平扩展，无间歇在线扩展，海量数据管理能力，开源。 相当部分云数据处理技术与MapReduce相关成果：在很多领域，替代主流平台，取得明显成功，如Google，Amazon，国内的淘宝等等疑问：目前，云数据管理技术与产品将全面替代主流关系数据库的呼声越来越高！？非关系