3HBase在小米 崔建伟.pdfVIP

HBASE/HADOOP@小米 小米科技 大纲  概述  Hadoop/HBase的优化  Minos:集群自动化发布和监控系统 概述  基础平台开发组  HBase  数据实时读写，在线业务支持  结构化数据存储和分析 Hive  Hdfs Hive  离线数据存储  搜集日志 MapReduce2.0 MapReduce2.0 M M  Mapreduce/Hive i i Yar n Yar n o o s  离线分析和计算 n s n  Yarn  集群资源调度和管理 HBase HBase  Minos HDFS  统一集群管理和监控 HDFS 概述  源于社区  业务驱动  回馈社区  超过30个改进贡献回开源社区 Hadoop/HBase的优化  高可用性  跨集群Per-Table/CF的Replication实现  ColumnFamily, Replication_Scope=1 PeerThread: PeerThread: 读取被标记的 读取被标记的 WALEdit, replicate 到 WALEdit, replicate 到 peer集群 peer集群 Hadoop/HBase的优化  跨集群Per-Table的Replication实现  扩展add_peer命令 PeerThread: 记录住 PeerThread: 记录住 需要replication的 需要replication的 Table/CF Table/CF /jira/browse/HBAS E-8751 Hadoop/HBase的优化  性能优化：提升HBase写的Throughput  HLog旧写模型 WriteHandler