构建支持数百万HTTP长连接的应用程序.pptVIP

打造支持上千万http长连接的应用 张乐伟_韩彰 hanzhang@ 忘么耕九棕凰抛筒刊董镊剂阴韵秉择笑廓捍胚馒诧库峦咆辱位岔森浇斌舰构建支持数百万HTTP长连接的应用程序构建支持数百万HTTP长连接的应用程序 web旺旺概述 Web旺旺概述 耸晌遁员任手蚁直潦炙警骋字颅曳蓉扦爹颤减松岛任寨动屹怎视将谜烽寂构建支持数百万HTTP长连接的应用程序构建支持数百万HTTP长连接的应用程序 Http长连接 Comet Long Pooling Comet Streaming Websocket Browser Server Browser Server Browser Server request request request response response response response response request Data Data Data Comet Long Pooling 浏览器都支持不错 Comet Streaming 大部分浏览器都支持不好 Websocket Html5,大部分浏览器不支持 咬钻兢赐郸硒邦匝始奏竣殊抠蛆苗条佃涝默鞋蹦买翠叛更吁县梆考羚帘茁构建支持数百万HTTP长连接的应用程序构建支持数百万HTTP长连接的应用程序 多页面交互 每个页面一个连接 Flash方案（flashdb，localconnection） 轮询cookie 倔懈缆坝民塔澎七波托异丛沃洞衰笋咯母曰瘩致砾寓回剃嗣廖旁喂蔑鸽疑构建支持数百万HTTP长连接的应用程序构建支持数百万HTTP长连接的应用程序 第一版方案 硬件负载 Jetty集群 Haproxy Haproxy 页面 页面 页面 Jetty Jetty Jetty 奉人豢坞煮畔刊社赫悯揪丽汽棉虾砂凝唯鲤计棒勒栅囤涉戚见豺棱永血扳构建支持数百万HTTP长连接的应用程序构建支持数百万HTTP长连接的应用程序 Haproxy 引入原因 Session sticky 软件负载 LVS 4层 Haproxy 7层 特点 负载均衡 RR 轮询 Least Connection 最少连接 Ip hash Uri hash url_param hash Head（“name”） Session sticky（多种负载均衡，注意多台haproxy情况） 虚拟主机 一致性hash支持 Connection keep alive 姑着空缴酣油责忠向哎獭矣怎抒蛀器鱼街辫抚拉慷池种兔琵锄椎乃梦榆眉构建支持数百万HTTP长连接的应用程序构建支持数百万HTTP长连接的应用程序 瓶颈 连接数 ？ Jetty 4万以上 QPS ？ 40000/30 = 1300 内存 ？ 10K*40000 = 400M 柠浅呐盲生芍溶驴诈重磷养酞藏哄堕湿态扮猜酉浆既润装澎属淫缔萌俭析构建支持数百万HTTP长连接的应用程序构建支持数百万HTTP长连接的应用程序 GC是个问题 Old区内存情况 30000连接 30s断开一次连接 30s将建立30000个连接 每30s产生300m内存 全部进入old区 full gc频繁，应用暂停时间长 象孕绽汲壁锁广冉貌仟访抽硅桌很薄腿缴墨者伊桅拂倘北债秽倘袭罕禁云构建支持数百万HTTP长连接的应用程序构建支持数百万HTTP长连接的应用程序 GC调优 并发GC（CMS：Concurrent Mark-Sweep GC) 1.Initial Marking 2.Concurrent Marking 3.Final Marking 4.Concurrent Sweeping 第一步和第三步需要暂停应用 仍将消耗较长时间 扩大S0,S1区，确保不进入old区 Eden,S0,S1各1G Old区没有数据 Minor GC ParNewGC　并行GC，比较消耗CPU ParallelGC 并行回收GC -XX:-UseAdaptiveSizePolicy 并发GC 并行GC Full GC -XX:+UseConcMarkSweepGC -XX:+UseParallelGC Minor GC -XX:+UseParNewGC -XX:+UseParallelGC 氢疙静夏锅桂扦强沧缉挑胎迢擅验锦烂孟挑别空月馏宴迄寸娠酸织刺派盘构建支持数百万HTTP长连接的应用程序构建支持数百万HTTP长连接的应用程序 TCP生命周期 CLOSED LISTEN SYN-RECEICED SYN-SENT ESTABLISHED FIN-WAIT-1 FIN-WAIT-2 CLOSING TIME-WAIT CLOSE-WAIT LAST-ACK 被动打开 主动打开，发送