CDN及缓存小讲.pptVIP

CDN及缓存小讲 一个访问如何完成？ 浏览器发起请求最基本的几项：Host、URL、Method 扩展项：Accept、Referer、Cookie、User-Agent等等 Host处理 如果是IP，直接走路由找IP 如果是域名：1、查找本机hosts和DNScacheWin：C:\WINDOWS\system32\drivers\etc、hostsLinux:/etc/hosts2、向localDNS发送resolve请求 localDNS处理 TTL(Time To Live)DNS都有一个TTL配置，以我们现在使用bind9为例： 如果LocalDNS上正好forwarder过这个Host，且TTL没有过期，那么直接返回结果。 localDNS处理 否则LDNS将通过TCP53向它所知的其他DNS发送查询递归查询、迭代查询 最终归到根服务器“.” 真正的域名最后都有一个“.”，如下： 解析结果 如果DNS应答的结果是A记录，那么已经获得了Host的IP，可以发起请求了； 如果是C记录，那么得到的还是一个域名，继续重复上面的过程，直到获得IP为止。 服务器响应 如果没有缓存，那么请求最后的“旅程”可能就是这样： CDN原理 GSLB(Gobal Server Load Balance) 最基本的GSLB控制器，就是一个智能DNS 以bind9为例，通过acl和view完成该功能 ACL acl CNCIP{ /21; /14; /22; /17; /24; …… } (GSLB会分得很细，我们自己双线，所以只区分CT和CNC) VIEW view CNC { key cnc { algorithm hmac-md5; secret mSzVmAeYKMnUplLTbyAQZw==; }; match-clients { key cnc; 11/32; !3/32; CNCIP; }; zone in { type master; file -bj; allow-query { any;}; // allow-transfer { our-nets; }; }; -bj …… cnccdn IN A 2 IN A 2 IN A 8 …… 稍微完善的GSLB，还会对这些服务器的负载、链路状况进行监控，随时对A记录进行微调~(Scalable Service Routing) 缓存服务器 缓存服务器的目的1、优化传输路由2、减轻源站压力 优化路由 电信、网通、联通、移动、教育网、广电、铁通、卫通…中国互联网相当复杂，同在北京，网络位置却隔得很远很远~ CDN在边缘节点上再构建一层专用光纤链路，完成全网的快速分发。 蓝讯节点示意图 帝联节点示意图 减轻源站压力 对于小文件(一般定义为平均1MB以下，常见网页、小图片等)，一般采用被动抓取的方式； 对于大文件(即平均1MB以上，游戏下载、音视频文件等)，一般采用主动推送的方式； 对于流媒体视频点播、直播，针对不同格式有各自的解决方案。 SQUID 我们目前在CDN平台加速的，都属于小文件类别。 小文件缓存加速，最常见的几个软件是squid/nginx/varnish，其次是lighttpd(mod_cache)/apache(traffic_server)等等 因为有世界最大的CDN商Akamai多年的支持，squid成为运用最广泛的缓存软件，可以说是事实上的标准。 我们在内部重大系统上，也使用了squid分担apache/nginx的压力。 Squid处理流程 我们可以通过开启debug模式，很清楚的看到一个url请求到达squid后的处理全过程。 1、tcp建连，占用文件描述符2、读取url请求，在内存中创建相应的Entry空间3、检查请求ACL匹配(内外2种)4、检查重定向规则5、读取匹配的缓存规则6、检查是否命中现有缓存文件 回源请求文件7、计算过期时间8、检查响应ACL匹配9、传输文件给客户端 10、将可缓存的新文件存入内存 11、空闲(或触发阀值)时清理内存和磁盘上不用的文件 读取url Squid与普通web服务器第一个显著不同，squid不会把host/uri?strings分开处理，在整个entry处理过程中，squid是针对一条完整url的。 GET /index.html HT