第七章 分布式消息队列Qbus介绍.pdf

分布式消息队列Qbus介绍 web平台部 代兵 2013.07.20 Agenda 基本背景 内部架构 问题及解决 QA 神马是消息队列 消息队列  为程序或组件提供异步的通信机制  是在消息的传输过程中保存消息的容器  解耦  发送者和接收者不必同时在线 producers  发送接收不必了解对方 MQ 两种模型 点对点（Point-to-Point ） 订阅（Publish/Subscribe ） consumers Gearman弱爆了  弱分布式。水平扩展性差  无订阅  可靠性差（使用外部存储性能较差）  运维工具不完善 So 我们需要另外一个靠谱的。。。 我们想要的  支持分布式  支持订阅  高可靠性  高性能  开发语言  社区活跃度，周边运维工具  用户使用成本等  kiss原则 货架上有的 特点 Qbus  以kafka为原型  分布式  持久化  支持订阅  高可靠  高吞吐、高性能，与消息总量无关  支持消息批量处理  支持压缩  支持可选可靠级别 使用场景 —— 数据同步 多IDC间数据同步常见方案 1. master/slave 2. multi-master 3. multi-write(Paxos) Master/slave方案 问题  Master中心化导致跨机房写 idc4  单点风险(failover)  Idc太多？ master slave slave slave idc1 idc2 idc3 Multi-write方案 特点： 强一致写 idc1 node 问题  延迟大 node node idc2 idc3 Multi-master方案 问题  冲突如何解决 idc1 master master master idc2 idc3 Qbus解决方案