Twitter架构剖析 语录.pptxVIP

Twitter架构剖析夏松江2010-06Twitter奇迹域名：一个社交和微博的服务网站；埃文·威廉姆斯(Evan Williams)与2006年创建；Twitter用户数过亿；(2010-4-15)Twitter被收录在英文字典中；Twitter奇迹简单的产品模式—140个字符模式允许用户广播或发送跟随者(followers)140个字符短信；最初是应用在手机短信，后来发展到Web、第三方App应用；完全免费；Twitter的成功开放API大部分流量来自第三方API简单操作太简单了实时性有几次世界性事件比任何媒体都快病毒性传播SNS关系因为简单，所以复杂背后一定有一个非常强大的架构！进入Twitter架构Twitter 2010 Chirp开发者大会一些架构数据Twitter目前有105,779,710注册用户数；Twitter现在每天有300,000的新注册用户数；每月有180万独立访问用户数；75%的流量来自T网以外的网站；每天通过API有30亿请求总次数；Twitter用户每天平均有5500万次tweet；37%的活跃用户为手机用户；超过一半（60%）的tweet来自第三方应用；核心业务Following和Be followed1. 为每一个注册用户订制一个Be-followed的表，主要内容是每一个follower的ID。同时，也订制一个Following的表，主要内容是每一个following作者的ID。2. 当用户打开自己的个人空间时，Twitter先查阅Following表，找到所有following的作者的ID。然后去数据库读取每一位作者最近写的短信。汇总后按时间顺序显示在用户的个人主页上。3. 当用户写了一则短信时，Twitter先查阅Be-followed表，找到所有followers的IDs。然后逐个更新那些followers的主页。如果有follower正在阅读他的Twitter个人主页，主页里暗含的JavaScript会自动每隔几十秒，访问一下Twitter服务器，检查正在看的这个个人主页是否有更新。如果有更新，立刻下载新的主页内容。这样follower就能读到必威体育精装版发表的短信了。平台构成—概述手机T第三方Twitter平台平台构成—工具Ruby on Rails：Web应用程序的框架Erlang：通用的面向并发的编程语言，开源 /CJavaScalaGoogle AnalyticsAWStats：实时日志分析统计系统 ///平台构成—前端Rails前台页面展示数据库查询缓存组合平台构成—中间件MemcachedStarling：Ruby开发的轻量级的消息队列Varnish：高性能开源HTTP加速器(取代Squid？)Kestrel：scala编写的消息中间件 /robey/kestrelComet server：Comet 是一种新的 Web 应用架构。基于这种架构开发的应用中，服务器端会主动以异步的方式向客户端程序推送数据，而不需要客户端显式的发出请求。Memcached客户端-- libmemcached平台构成—服务器MySQLMongrel：Ruby的HTTP服务器，专为rails应用；/projects/mongrel/Munin：服务端监控程序 /Nagios：网络监控系统 /架构思想发布消息获取消息Mongrel Rails ServerMongrel Rails Server40%hitsKestrel(MQ)缓存聚合器Page CacheItems/user(Varnish)95%hits99%hits95%hitsVector CacheTweet/userFragment CacheItems/tweetRow CacheItems/userMySql架构1—缓存Web2.0网站所有的一切都是运行在内存中Cache通常架构架构1—缓存每个tweet平均被126个用户跟踪，所以这里有着明显的缓存需求;只有API有着一个页面缓存，当每次从一个用户那里来了一个tweet时就会失效，而应用的其它部分都是无缓存的;架构1—缓存改进进程1、创建一个直写式向量缓存Vector Cache，包含了一个tweet ID的数组，tweet ID是序列化的64位整数。命中率是99%。2、加入一个直写式行缓存Row Cache，它包含了数据库记录：用户和tweets。这一缓存有着95%的命中率并且使用了Nick Kallen的名为/nkallen/cache-money/tree/masterCache Money的Rails插件。3、引入了一个直读式的碎片缓存Fragment Cache，它包含了通过API客户端访问到的tweets的序列化版本，这些tweets可以被打包成 JSON，XML或者