web与分布式计算课件打印.docxVIP

云计算体系概述云计算的基本原理是通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。云计算的应用—IaaS优势节省费用/所付及所用即时升级安全可靠APIs云计算的应用—PaaS优势节省费用/所付及所用即时升级安全可靠APIs云计算的应用—SaaS优势无浪费费用即时扩展安全可靠APIs云计算的应用优势用户花费低减少底层管理职责允许意想不到的资源装载业务应用实现迅速风险安全性宕机问题接入问题独立性协同互动问题什么是HBasehbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。?HBase中的表一般有这样的特点：1 大：一个表可以有上亿行，上百万列2 面向列:面向列(族)的存储和权限控制，列(族)独立检索。3 稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。逻辑视图Row KeyTime StampColumn ContentsColumn AnchorColumn “mime”my.look.ca“n.www”T9CNNT8CNN.COMT6“html.. “Text/htmlT5“html.. “t3“html.. “逻辑视图HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)Row Keycolumn-family1column-family2column-family3column1column2column1column2column3column1key1t1:abct2:gdxdft4:dfadst3:hellot2:worldkey2t3:abct1:gdxdft4:dfadst3:hellot2:dfdsfat3:dfdfkey3t2:dfadfasdt1:dfdasddsft2:dfxxdfasdt1:物理视图Table中所有行都按照row key的字典序排列；2、Table在行的方向上分割为多个Region；3、Region按大小分割的，每个表开始只有一个region，随着数据增多，region不断增大，当增大到一个阀值的时候，region就会等分会两个新的region，之后会有越来越多的region；4、Region是Hbase中分布式存储和负载均衡的最小单元，不同Region分布到不同RegionServer上。云计算体系特点通过Internet接入不需要自身具有IT技术来实施第三方提供资源共享无多余功能开发无多余费用系统延续性好云计算技术体系结构分为4层：物理资源层、资源池层、管理中间件层和SOA构建层（如上图）；物理资源层包括计算机、存储器、网络设施、数据库和软件等；资源池层是将大量相同类型的资源构成同构或接近同构的资源池，如计算资源池、数据资源池等。构建资源池更多是物理资源的集成和管理工作，例如研究在一个标准集装箱的空间如何装下2000个服务器、解决散热和故障节点替换的问题并降低能耗。管理中间件负责对云计算的资源进行管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用提供服务；SOA构建层将云计算能力封装成标准的Web Services服务，并纳入到SOA体系进行管理和使用，包括服务注册、查找、访问和构建服务工作流等。管理中间件和资源池层是云计算技术的最关键部分，SOA构建层的功能更多依靠外部设施提供。计算的管理中间件负责资源管理、任务管理、用户管理和安全管理等工作。资源管理负责均衡地使用云资源节点，检测节点的故障并试图恢复或屏蔽之，并对资源的使用情况进行监视统计；任务管理负责执行用户或应用提交的任务，包括完成用户任务映象(Image)的部署用户管理是实现云计算商业模式的一个必不可少的环节，包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等；安全管理保障云计算设施的整体安全，包括身份认证、访问授权、综合防护和安全审计等。和管理、任务调度、任务执行、任务生命期管理等等；云计算简化实现机制用户交互接口向应用以Web Services方式提供访问接口，获取用户需求。服务目录是用户可以访问的服务清单。系统管理模块负责管理和分配所有可用的资源，其核心是负载均衡。配置工具负责在分配的节点上准备任务运