杨卫华：微博cache设计谈.pptVIP

* 微博cache设计谈 非最终版 1 10年7月23日星期五 Agenda ? Feed架构 ? 微博中常见Cache问题 ? 扩展 2 10年7月23日星期五 微博技术的核心 ? 数据的分发、聚合及展现 ? 每条微博, 在技术上也称为status或feed ? 如 ? 3 10年7月23日星期五 Feed架构 ? 微博两种feed设计模式 ? Push(推) ? Pull(拉) ? 其他 4 10年7月23日星期五 Push ? 将feed比喻成邮件 ? Inbox: 收到的微博 ? Outbox: 已发表微博 ? 发表：存到所有粉丝inbox(重) ? 查看：直接访问Inbox(轻) ? Of?ine computation 5 10年7月23日星期五 Push ? 优点：实现简单，首选 ? 缺点：分发量 ? 6 10年7月23日星期五 Pull ? 发表：存到自己outbox(轻) ? 查看：取所有关注对象Inbox(重) ? Online computation 7 10年7月23日星期五 Pull ? 优点：节约存储 ? 缺点：计算量大，峰值问题 8 10年7月23日星期五 共同的难题 ? 峰值挑战 ? 9 10年7月23日星期五 Page cache Vector cache 典型的架构 Pull cache arch Inbox Outbox Social Graph Content Archive data Following Hot cache Followers Total users 10 10年7月23日星期五 Cache memory is the new disk, and disk is the new tape. for real-time web applications, and systems that require massive scalability - Jim Gray 11 10年7月23日星期五 Memcache 使用方式 12 10年7月23日星期五 terminology ? content cache: 内容体 ? vector cache: feed id list 13 10年7月23日星期五 content cache ? multi get n (n = items/page, e.g. 50) ? size = n * length of feed + header (e.g. 2k) ? concurrent requests / sec, e.g. 1,000 ? total = 50 * 2k * 1000 / sec ? total = 100M * 8bit = 800Mbps 14 10年7月23日星期五 问题 15 10年7月23日星期五 1. 带宽 ? 1,000并发，需要800Mbps带宽 ? 1万并发，需要8Gbps ? facebook Memcache: 60GB ~ 120GB/s 16 10年7月23日星期五 1. 带宽 ? 在1G内网，只能压力到 300~400Mbps ? 后来将热门数据加载到local cache ? 压缩 ? 复制 17 10年7月23日星期五 2. 压缩 ? gzip ? quicklz ? lzo ? 速度比较数据, zhangwei 18 10年7月23日星期五 *