微信后台存储架构.pdf

微信后台存储架构 许家滔 sunnyxu@ 微信产品部 －基础平台组 ⼤纲 微信通⽤存储系统（Quorumkv ） 前⾔ （需求背景） 系统概况 系统架构 （强⼀致性协议，存储模型，分⽚） 真实系统 前⾔－微信分布 上海天津深圳⾹港加拿⼤ … 同城多园区分布 系统概况 数据存储基础设施 分布式强⼀致 同城园区级容灾 ⽀持类SQL查询 系统概况 mem ssd,sas 50+ 业 核⼼存 务模块 储模块 系统架构 －背景 A.分布式问题收敛
 
 后台逻辑模块专注逻辑，快速开发
 
 可能读取到过时的数据是个痛点
 
 需要看到⼀致的数据
 
 系统架构 －背景 B. 内部定义
 
 数据拥有两个以上的副本 如果成功提交了变更，那么不会再返回旧数据
 
 系统架构 －推演 1.增加⼀个数据
 
 
 
 系统架构 －推演 2.序列号发⽣器，偏序
 
 约束：只能有⼀个client操作
 
 client有解决冲突的能⼒
 
 问题转移：client如何分布？ 系统架构 3.修改集群中⼀个指定key的value
 
 1 ）覆盖它
 
 2 ）根据value的内容做修改
 
 if value ＝1 then value ：＝2 
 
 
 
 系统架构 1.通⽤解法： 
 1) paxos算法
 
 ⼯程难度 ⼀切可控 系统架构 －分布算法设计 2) Quorum算法 （2011 ）
 
 在单个key上⾯运算
 
 真实系统约束
 
 类paxos⽅案，简化 
 
 系统架构 －分布算法设计 为每次变更选举(by key) 算法过程 提议／变更／同步／⼴播 系统架构 系统架构 －写流程 系统架构 － Replication Sharding 权衡点 ⾃治，负载均衡，扩散控制 replication - relation 容灾低消 同城（上海）多数派存活 三园区（独⽴供电，独⽴。。）