《百度有哪些信誉好的足球投注网站系统的PaaS架构设计和实践》.pdf-2019-02-12-13-45-44-638.docxVIP

ArchSummit全球架构师峰会深圳站2016 Eden 百度有哪些信誉好的足球投注网站引擎的PaaS架构设计和实践 百度有哪些信誉好的足球投注网站架构师 郑然 自我介绍 郑然 百度网页有哪些信誉好的足球投注网站架构部 – 有哪些信誉好的足球投注网站架构师 七年有哪些信誉好的足球投注网站引擎架构工作经验 – 流式索引构建系统, 离线计算平台架构 – 服务化组件开发平台SOFA – 在线服务PaaS平台建设 – 服务治理 高可用架构 DevOps 目录 CONTENTS Eden的前世今生 Eden架构设计和实践 软件包的标准化 经验教训 百度有哪些信誉好的足球投注网站引擎的挑战 百度有哪些信誉好的足球投注网站引擎的挑战 百度有哪些信誉好的足球投注网站引 擎的挑战 机器数量多, 服务数量大 数万台服务器, 数十万个服务, 分布在多个IDC 服务变更多, 变更数据大 挑战 每天几十万次变更, 每周10P量级的文件更新, 千余人并行开发几十个模块 检索流量大, 稳定性要高 每秒数万次请求, 满足99.995%的可用性 Eden的前世今生 从有哪些信誉好的足球投注网站引擎 的基础架构 说起 海量服务分布吞吐和延迟最优 merger index0 index0 index1 index1 index2 index2 shard0 shard1 shard2 服务治理的 三个阶段 2009年以前 2010 ~ 2013 2014 ~ 2016 刀耕火种时代 蒸汽机车时代 集成电路时代 粗暴 简单 半自动化 精密 高效 刀耕火种 时代 单机单服务 服务名等价于机器名 运维上千台机器, 流程相对简单 特点  资源管理以整机为单位 蒸汽机车 时代 业务驱使 索引量增长, 相关性算法越 1 发复杂, 资源消耗增加 缺陷 ? 没有把服务治理系统 5 作为一个有机整体 服务治理问题 开发了DOP系统, 大幅 4 度节省了资源, 提升了运维效率  资源优化? 2 单机单服务, 机型差异 大, 资源使用不均衡, 呈现严重的木桶效应 单机多服务 3 单个索引shard瘦身,优化索引分布 集成电路 时代 1 2 3  服务存活率 99.5% 弹性的服务扩容和缩容 几十个模块, 上千路数据, 每天几十万次变更 4 以Eden为核心构建DevOps生态 软件包的标准化 部署系统 的核心 标准化是自动运维的基础 部署系统的核心是包的标准化 本质上希望自给自足 容器的发展更说明包的重要性 OCI定义了容器的标准 Eden 标准化包 架构蓝图 Eden的变更世界观 故障和高可用 架构设计和实践 架构蓝图 运行的服务 网页有哪些信誉好的足球投注网站 图片有哪些信誉好的足球投注网站 度秘 Eden Job Engine 服务升级 数据更新 服务伸缩 实例迁移 测试支持 日志服务 机 Eden command WebUI z 器 o 测试平台 日志分析 维 api-server o k 修 e 仲 e 准入测试 日志收集 InstanceMgr NamingService p 裁 e r 基础设施 matrix matrix matrix 监控系统 故障检测 机器维修 IDC1 IDC2 IDC3 agent agent agent Eden的变 更世界观 消除环境漂移, 部署效率低 增加新服务, 删除老服务 增量 不可变 模型 模型 基于patch的增量变更 部署效率高, 变更过程复杂 Eden的变 更世界观 状态 记录实例的目标状态和当前状态 darcs 对比 理论 文件 文件下载后执行前置和后置命令 执行 下载 命令 改变 事 状态 务 Eden的变 更世界观 效率! 效率! 效率! 夜间流量低, 限制可放宽 并发要控制, 保护数据源 数据有多路, 按照优先来 IO要限速, 不影响服务 Eden的变 更世界观 分布式锁 实例1 实例2 实例3 实例4 实例5 实例6 实例 实例 实例 实例7 实例8 实例9 保持有效实例数 Eden的变 更世界观 STEP 1 常规部署 文件传输 执行前置命令 切换新文件 执行后置命令  STEP 3 STEP 2 传输和生效分离 效率低下 传输和生效分离 分级过程只能串 实现文件预分发行, 不可避免的 存在等待 文件预分发实现了变更效率质的飞跃 Eden的变 更世界观 分级 分级 回滚 关键 支持 回滚 技术 支持 变更的原则 关键机制 分级粒度 数据备份 分级和可回滚是 实例级变更的能 实例级的数据, 元数据的版本化 任何一个变更操 力和备份的能力 连接, 资源配额 管理和文件的版 作的基本原则 的变更 本化管理 没有分级和回滚的变更就是一枚炸弹! 故障 高可用 故障 ? 硬件 ? 主板, CPU, 内存, 风扇, 网卡, Raid卡 ? 磁盘(挂载点缺失, 扇区损坏, SMART, 设备文件故障) ? 软件 ? 文件系统(文件损坏, inode