2011-06-25_搜狐畅游数据库运维经验分享.pdf

搜狐畅游数据库运维经验分享 叶金荣@搜狐畅游 2011-06-25 网络游戏分类 在线休闲 - 斗地主、象棋 网络对战 - 星际、CS 角色扮演 - 魔兽实际、天龙八部  MMORPG特点 四A(Anti)模式 A-集中式：分区分服 A-高可用：定期维护 A-多样化：趋近同质 A-读写比：写比读多 畅游数据库业务特点 集中式 – 全网注册充值 – 统计分析 – 备份 分散式 – 各区各服在线游戏 畅游数据库业务规模 在线游戏业务20 ，包括海外 主机 1000 实例 1000 全局数据库tps 100 游戏数据库tps 700 1. 畅游数据库运维- 早期 时间：2008年以前 特点：不规范 • 人手经验有限 • 无专业MySQL DBA • 硬件旧、差、乱，故障率高 • 数据库设计不规范，效率低 • 优化、安全、监控均不完善 存在问题 从问题中学习经验 硬盘、电源易发故障 CPU、IO、内存性能差 32位MySQL版本问题 死锁、锁等待问题严重 数据库设计无规范 缺乏有效监控机制 改进措施 升级硬件配置固件驱动 升级到64位OSMySQL 优化数据库设计，提高事务并 发效率，降低死锁锁等待 反范式设计，解决统计难题 建立基本监控安全机制 2. 畅游数据库运维- 中期 时间：2008 ~ 2010 特点：逐步完善 • 增加人力数量质量 • 硬件系统升级规范 • 持续优化硬件数据库 • 完善监控、安全、自动化 • 不断降低故障率 存在问题 数据读写并发增长迅速 磁盘IO历史问题更为严重 开发新手人员变更导致数据 库设计常见问题仍旧存在 硬件故障排查解决能力不足 自动化程度低，重复劳动严重 改进措施 使用Percona分支MyQL ，提 高数据库并发响应能力 尝试ext4文件系统 调整数据表设计，解决最为关 键的IO瓶颈 增强对硬件系统的了解 加强自动化，提高效率，解放 人力 3. 畅游数据库运维– 当前 时间：2010 ~ 特点：自动化、规范化 • 疲于应对暴增的业务需求 • 急迫需要提高自动化水平 • 依靠规范化制度应对变化 • 不断优化数据库应对压力 存在问题 业务需求增长迅速，人手不足 新项目中的数据库设计不规范 除了传统游戏数据库应用，出 现了其他新型应用 早期基础运维体系建设存在缺 陷导致了后期运维规范化、自 动化的难度骤增 改进措施 自动化… 强制规范化 根据每个项目的特点，选择更 加合适的架构、设计、引擎 蚂蚁搬家式推进基础运维体系 的规范化 不断提高自动化水平 4. 畅游数据库运维– 未来 特点：平台化 • 管理系统平台 • 事件驱动响应 • 审核审计流程 • 在线知识积累 • 在线分析统计 5. 畅游数据库运维– 基础体系介绍 运维 备份 监控 5.1基础体系介绍– 运维 简单明了，模式同质 业务特色，分区分类 本地中控，集中管理 安全控制，低自动化 推陈出新，更新频繁 5.2基础体系介绍– 备份 简单策略 周期全备 在线热备 异地备份 备份检查 定期恢复 个性增备 5.3基础体系介绍– 监控 OEM监控主机数据库实例 硬件监控 备份监控 网络监控 补充监控 监控的监控