海量处理与数据分析NoSQL数据库.pptxVIP

一种支持实时复杂查询和分析的NoSQL系统

题纲系统需求与现有方案技术方案应用案例

01数据及系统特点02结构化：每条记录包含10个字段左右，每条记录的大小大约是几百字节03数据量巨大：达到千亿级以上，达到PB级04加载速度快：达到百万条/s的规模05系统规模：可以扩展到上千个节点系统需求概述

系统需求概述对数据的访问需求提供SQL访问接口支持大规模结果集：达到千万条规模支持按多列的实时查询（秒级）支持多列之间的逻辑比较关系，例如AND、OR、NOT等支持多列之间的的算术比较关系，例如=、、等支持统计、聚合、分组、排序等操作（秒级）ORDERBYASC(DESC)，GROUPBY,TOP,LIMITSUM，COUNT，AVG，MAX，MIN数据不更新，但需要对数据批量删除

现有方案(1)—关系数据库共享磁盘OracleRACDBSAN/共享磁盘DBDBDB网络SAN/FC完全共享SMP服务器DB磁盘单机数据库结构OracleRAC关系型数据库都主要关注了CA，即一致性和可用性性能、可扩展性上都比较差无法满足可扩展性和性能的要求

现有方案(2)—关系数据库集群完全不共享DBDBDBDB网络磁盘磁盘磁盘磁盘MasterParallelDBMS数据分片(sharding)或者功能分区将数据按照不同的策略进行划分：功能、字段值范围、HASH等优点：能够有效的解决可扩展性的问题缺点：shard的扩容比较复杂；联合多个shard的表数据查询复杂。

NoSQL（非关系型）1NoSQL≠NoSQL，而是NoRelationship，NotOnlySQL2系统特点3可以处理超大规模的数据，可支持到千亿规模4Sharing-Noting架构，可扩展性强5数据加载速度快，并可随节点个数线性增长6现有方案(3)-NoSQL方案据特定应用场景的需要设计开发了很多NoSQL系统分布式KV型：例如：Dynamo，PNUTS、FlareCF型：例如：Bigtable，Cassandra和Hbase。文档型：例如：MongoDB,coutchDB现有方案(3)-NoSQL方案

现有No-SQL数据管理系统检索能力差01K/V型：仅支持基于Key的查询，无法做多关键字查询以及根据Value的复杂查询02Column-Based型：扩展了KV数据模型的表述能力，但是仅支持关键字查询，时间区间查询，不支持针对属性的复杂查询以及统计、分析等操作03现有方案(3)-NoSQL方案

现有方案(3)-No-SQL.KVKV型NoSQL数据库一般采用CHash策略基于CHash实现组员管理、数据分布、副本容错等容易实现精确查询，但是无法支持区间查询

现有方案(3)-No-SQL.CF数据采用列存，以Region为单位节点间分布存储基于Region建立三层索引，Root节点保存在Master上

现有方案(4)—Hadoop+MR+HIVEHbase、Pig、Hive：提供结构化数据的存储、查询、分析技术MapReduce：提供可靠的分布计算方法HDFS：提供统一视图的分布式存储环境面向非实时的分析型应用速度慢，无法满足实时性的要求

现有方案分析PDBMS、No-SQL数据库、Hadoop局限性分析！RDBMSHadoop+MR+HiveNo-SQL当节点规模扩大时，由于关系模式的约束，子表维护、数据错误等原因导致关系数据库的性能急剧下降！MapReduce无索引的检索方式与“pull”模式的中间数据处理流程导致检索效率低下！仅支持基于Row_Key的查询，不支持多列查询，统计分析等复杂查询；针对大返回结果集的查询效率低！

现有方案分析系统分类典型系统特点概述关系型数据库DBMS-X，Verita，GreenPlum,AsterData具备检索复杂性，但是不具有扩展性HadoopHIVE，PIG，HadoopDBetc具备扩展性，但是检索效率低No-SQLLocalHost-KeyValueTC(KC),BDB不具备扩展性Hash-basedKeyValueDynamo,Pnuts,voldemort,falre具备扩展性，但是不支持区间查询Column-familyHbase,Hypertable,Cassandra,Memcachedb,levelDBetc具备扩展性，但是不支持多列查询DocumentbasedDBMongoDB,coutchDB加载、检索效率低

系统设计目标检索模式有序表数据规模低高简单复杂关系数据库KV数据库目标领域No-SQL改善传统数据库的可扩展性差，并发性差的问题解决NoSQL数据的检索能力差的问题，增加多列查询、统计排序等功能系统规模：万亿条最终一致性支持