百度世界2011云计算论坛演讲稿大规模存储系统和运行平台设计.pdf

潜龙骄首志在凌云 云计算论坛 大规模存储系统和运行平台设计 刘斌 百度基础架构部架构师 大规模存储系统 百度的数据 百度的存储系统 设计考虑 运行平台 应用开发之惑 运行平台架构 资源管理 百度的数据 网页 日志 ＋数据仓库 广告 UGC 数据的特点 性能 大小 – 高吞吐VS 低延迟、高并发 – 小记录VS 大记录 规模 数据组织 – 10PB级VS T级 – 无序VS 有序 时效性 一致性 – 非实时VS 实时 – 弱VS 强 读写 处理方式 – 易变VS 静态 – 批量(顺序) VS 单(随机) 百度的存储系统 海量 Bailing 高吞吐 Mola 低延迟 Armor 高并发 无序 Peta 大数据 DDBS 复杂关系 一致性 Bailing 存储模型 1 Write Stream Base Stream 2.1 2.2 Merge 6 Index Logs Mod Stream Patch Stream 5 + Merge-Sort + Merge-Sort + Merge-Sort Index Stream