cgroup与单机资源管理ppt课件

1、Cgroup与单机资源管理杨毅 yangyi2019-12;提纲 业界声音 Cgroup实现 Cgroup in Baidu;提纲 业界声音 Cgroup实现 Cgroup in Baidu;Kernel Summit 2019; Cgroup的发展是不可逆转的 Memory Controllermemcg） Workshop Google的云计算平台 OpenVZ的虚拟计算平台 RedHat 6和openSUSE 11.3 Ying Han (Google) programmer/9202/;“So I think this is firmly one of those real impro

2、vement patches. Good job. Group scheduling goes from useful for some specific server loads to thats a killer feature.”Linus Torvaldsmarc/?l=linux-kernel&m=128979084506774&w=2;小补丁 大改善 200+行代码+config SCHED_AUTOGROUP+bool “Automatic process group scheduling”+select CGROUPS+select CGROUP_SCHED+s

3、elect FAIR_GROUP_SCHED;提纲 业界声音 Cgroup实现 CGROUP与资源管理 框架和子系统 CPU，MEM，NET，IO子系统 Cgroup in Baidu;Control Groups Resource Control in Process Groups Paul Menage (Google) since linux-2.6.24;资源 = 硬件CPUNETIOMEMORY;进程组更适合作为资源管理的单位 进程P8P5P7P3P1P6P4P2G1G2G3 进程组;提纲 业界声音 Cgroup实现 CGROUP与资源管理 框架和子系统 CPU，MEM，NET，IO

4、子系统 Cgroup in Baidu;Cgroup细节 Cgroup框架 Hierachical Inherit Cgroup子系统 使用框架的分组机制 对一组进程就某种资源进行管理 Cgroup框架Cgroup子系统vfsext4/btrfs文件系统;Cgroup子系统 Resource Control CPU, MEMORY, NET, IO Isolation and special Control debug, perf, ns, freezer, devices;联合或独立的子系统 结合 独立silvercpu: 30%mem: 30%goldencpu: 50%mem: 40%

5、Ironcpu: 20%mem: 30%silvercpu: 30%goldencpu: 50%Ironcpu: 20%silvermem: 30%goldenmem: 40% Ironmem: 30%;提纲 业界声音 Cgroup实现 CGROUP与资源管理 框架和子系统 CPU，MEM，NET，IO子系统 Cgroup in Baidu;CPU子系统 CFS组调度 cpu.shares 下限 可抢占 可稀释;SCHED_AUTOGROUP原理 firefox v.s. make -j64 per-tty/session auto group user space v.s. kernel s

6、pace;CPU子系统进展 多核 cpuset：区分cpu core及momory nodes(NUMA) Pay-per-use环境 cfs bandwidth control：cpu硬上限;MEMORY子系统 限制RSS + Page Cache (+ swap) 硬上限 per-group OOM;MEMORY子系统进展 隔离性：per-group vm机制 更友好的OOM Kernel memory accounting;NET子系统 net_cls：基于cgroup的filter tc：限制发送速率，bps/pps;NET子系统进展 用户程序友好 接收限速;IO子系统 dm-ioba

7、nd Device mapper layer 令牌桶，限制带宽 io-throttle Generic block layer 限制iops和带宽 io-controller I/O scheduler layer 按比例分配 service time;IO子系统进展 service time v.s. iops v.s. bandwidth 逻辑设备 v.s. 物理设备 隔离对IO调度策略的影响 异步支持;其他子系统 debug：example debug ns：名字空间，用于实现：名字空间，用于实现container devices：进程访问设备的黑白名单：进程访问设备的黑白名单 freezer：暂停或重启整组进程：暂停或重启整组进程 perf：控制本组进程在特定：控制本组进程在特定CPU上的上的perf_event监控监控 checkpoint/restart：进程状态：进程状态dump到到file里，里，可以在别的机器上重启可以在别的机器上重启;提纲 业界声音 Cgroup细节 Cgroup in Baidu;Cgroup in Baidu 上线5000+台服务器，稳定运行12个月 单机资源管理框架 子系统加强 用户态工具封装;Cgroup in Baidu 场景1：网页检索不停服务更新索引库 响应时间灵敏 写对读的影响;Cgroup in