淘宝主站Cgroup资源控制实践.pdfVIP

朱延海（高阳） 核心系统研发部 2012-07  项目背景：主站的现状  选型的过程  Cgroup/ LinuxContainer介绍  定制和开发  存在的问题和对策  主站：跑在xen虚拟机上的Java应用  处理业务逻辑，本地无重要存储，无状态。  一台物理机部署3 台虚拟机  双路Xeon ，48GB 内存  多数应用是非交易相关的  有1/3虚拟机峰值Load小于0.5  基本无磁盘IO ，主要资源需求集中于cpu和内存  机器数量非常多  一台物理机跑更多虚拟机  更好的组合应用，做到集群利用率均衡  消耗资源多的和少的部署在一起  核心应用和非核心部署在一起  如果某台虚拟机流量上升需要更多资源， 给它分配的内存和cpu也增加，反之亦然。  不增加监控、运维成本  Operating system-level virtualization  各种称呼, “containers”, “jails”, 增强的chroot  Container是安全容器与资源容器的组合  安全容器：chroot, UID/PID/IPC/Network Namespace  资源容器：Control Cgroup (Cgroup)  实现  Linux ▪ OpenVZ, Linux-VServer, LinuXContainer(LXC)  Solaris Zones  FreeBSD Jails  LXC = Namespace + Cgroup  基于进程组的资源管理  基础框架+ 子控制器  使用Cgroup的分组机制，对一组进程就某种系统资源实现资 源管理。  cpuset子控制器  为进程组分配一组允许使用的CPU和内存结点  memcg子控制器  限制进程组允许使用的物理内存  只限制匿名页和Page Cache ，不包括内核自己使用的内存  内存紧张时使用与全局回收同样的算法在组内回收  Blkio子控制器  限制进程组的磁盘IO带宽  实际控制的是磁盘为各进程组服务的时间片数量，和进程调 度器cfs针对cpu 的分时服务原理相同 动态迁移 CPU增减 内存增减 XEN( 半虚拟化） 支持 通过Guest OS CPU 通过balloon driver 热插拔机制支持 支持 KVM(全虚拟化) 支持 通过Guest OS CPU 通过balloon driver 热插拔机制支持 支持 LinuXContainer 不支持 通过cpuset和CFS 通过Cgroup 支持 (LXC) 组调度扩展支持 速度 异构模拟 可运行不同OS 安全隔离性 XEN( 半虚拟化）比本地环境慢 支持 支持 强 KVM(全虚拟化) 比本地环境慢 支持 支持 强 LXC 同本地环境 不支持 不支持 差 •/page/CPUHotPlug •/TechComparison •/wiki/Comparison_of_platform_virtual_machines  优点  虚拟化开销小，一台物理机跑很多“小”虚拟机  通过Cgroup增减CPU/