用户行为分析大数据平台的选型（修订版）.pptVIP

使用 Apache Sqoop ETL转换工具 RDBMS = HDFS 对某些NoSQL数据库亦提供支持 * 使用Apache Kafka Kafka是一种高吞吐量分布式发布订 阅消息系统，它可以处理消费级规 模网站中的所有动作流数据。 * 实时数据流（real-time data streaming） 水平可扩展（horizontally scalable） 容错机制（fault tolerance） 支持分区（partition） 出奇的快（wicked fast） Kafka特点 * 使用Apache Spark 高性能，执行速度100倍于Hadoop 支持Java、Scala、Python、R语言 支持SQL、机器学习、图运算、流 支持Hadoop、CAssandra、HBase 支持独立部署运行 * LOREM IPSUM Spark基于这样的理念：当数据 庞大时，把计算过程传递给数据 要比把数据传递给计算过程要更 有效率。每个节点存储它的数据 集，然后任务被提交给节点。 * 使用Druid Druid是一个面向列式存储 的高性能分布式数据仓库。 * 高速聚合，亚秒级OLAP查询 流数据注入，实时多维度查询 集群动态扩展，PB级数据量，每秒百万 级事件注入 低成本部署，与现有数据系统无缝集成 Druid特点 * 使用Impala进行离线查询 Impala是Cloudera公司 主导开发的新型查询系 统，它提供SQL语义， 能查询存储在Hadoop的 HDFS和HBase中的PB 级大数据。 * happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day 用户行为分析大数据平台的选型 * 使用AVRO序列化数据 Hadoop的子项目 基于二进制传输 高性能中间件 支持数据密集型应用 * 依赖模式实现数据结构定义 支持二进制编码和JSON编码 支持压缩功能 支持数据排序功能 序列化时速度快且结果内容少 AVRO特点 * 使用Parquet列式存储 Parquet是面向分析型业务的列式存储 格式，由Twitter和Cloudera合作开发， 2015年5月升级为Apache顶级项目。 * Parquet列式存储特点 可以跳过不符合条件的数据，只读取需要 的数据，降低I/O吞吐量 压缩编码可以降低磁盘存储空间 支持向量运算，能够获取更好的扫描性能 查询性能提升30倍，存储空间节约75% * 列式存储 VS 行式存储 传统的RDBMS提供ACID原子操作和事务， 在大多数列式存储数据库上是不具备的，而大 多数列式存储数据库对分布式架构支持的更好。 需要了解的是列式存储以及行式存储在查询 和存储上的本质，在技术选型上可以多点筹码。 * happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day happy every day