ZooKeeper在携程的使用和场景.pdfVIP

ZooKeeper ZooKeeper在携程的使用和场景 ZZooooKKeeeeppeerr 介绍 携程技术研发中心 Li, Bruce 2012/09/05 议程 • 序 – 携程技术研发中心简介 • 第一部分 – Zookeeper的一般介绍 • 第二部分 – 在携程的应用和使用场景介绍 • QA 携程技术研发中心 • 对技术研发投入不断增大 • 对基础框架愈发重视 • 鼓励内部使用更多优秀的开源软件 • 同开发社区的互动将不断加强 第一部分 Zookeeper的一般介绍 Apache Zookeeper项目简介 • 自2010年10月升级成Apache Software Foundation(ASF)顶级项目 • 分布式协调服务，提供以下功能： – 组管理服务 – 分布式配置服务 – 分布式同步服务 – 分布式命名服务 谁在使用Zookeeper • 开源软件： – HBase – Solr – Storm – Neo4j – … • 公司 – Yahoo – Rackspace – LinkedIn – Twitter – Taobao – Ctrip – … Zookeeper架构 � 客户端随机连接集群中任何一台server � 集群内所有server基于Zab(ZooKeeper Atomic Broadcast)协议进 行通信 � 集群内部根据算法自动选举出一个leader，负责向follower(其他 server)广播所有变化消息 � 集群中每个follower都和leader通信 • Follower接收来自leader的所有变化消息，保存在自己内存 • Follower转发来自客户端的写请求给leader • 客户端的读请求会在follower端直接服务，无需转发给leader ZAB(ZooKeeper Atomic Broadcast)协议 �2011年Yahoo公开了Zab协议论文 �选举leader，只有leader才能提出决议 �没有abort的两段式提交 �基于状态增量的消息传输 �高可用高性能 �参考：/pub/3514 ZooKeeper数据模型 � 基于树形结构的命名空间，与文件系统类似 � 节点（znode）都可以存数据，可以有子节点 � 节点不支持重命名 � 数据大小不超过1MB（可配置） � 数据读写要保证完整性 ZooKeeper基本API string create(path, data, acl, flags) delete(path, expected_version) stat set_data(path, data, expected_version) (data, stat) get_data(path, watch) stat exists(path, watch) string[] get_children(path, watch) Znode节点类型 �Sequential节点和non-sequential节点 �Ephemeral节点和persistent节点 Sequential/non-sequential节点类型 � Non-sequential节点不能有重名 � Sequential节点 • 创建时可重名 •