Docker容器原理与实现

1、Docker容器的原理与实现周成玉【摘要】Linux 容器（Linux Container , LX。是 docker 的核心技术之一，LXC利用 chroot、namespace和cgroup等技术实现资源的隔离和配额，文章剖析了LXC的原理和实现。【关键词】 chroot, namespace, cgroup, LXC 1、概述海关已经广泛使用虚拟机技术多年，IT资源利用率得到有效提高。近年来，基于 Docker的轻量级虚拟化技术正成为IT技术热点之一。与传统虚拟机相比，Docker技术本质上是一种 LXC引擎。VM和LXC关注的问题都是资源的隔离和配额， VM采用CPU memo卧dis

2、k等硬件虚拟化技术，LCX则借助了 chroot、 namespace和 cgroups 等系统调用。2、LXC的资源隔离2.1、 chrootchroot （ change root directory, 更改root目录），最早在1979年的Unix V7 使用，并在各个版本 的linux系统中得以保留。在 linux系统中，系统默认的目录结构都是以“ /"，即根（root）开始的。通过使用chroot ,系统读取到的目录和文件将不在是旧系统根下的而是指定的新位置下的目录结构和文件，这样带来两个好处：（1）增加系统的安全性，限制用户权力。经过 chroot之后，在新根下将访问不到

3、旧系统的根目录结 构和文件，这样就增强了系统的安全性。在登录 （login）前使用chroot ,阻止用户访问特定目录。（2）建立一个与原系统隔离的系统目录结构，方便用户的开发。使用 chroot后，系统读取的是新根 下的目录和文件，这是一个与原系统根下文件不相关的目录结构。在这个新的环境中，可以用来测试软件 的静态编译以及一些与系统不相关的独立开发。Docker就是利用chroot功能，实现每个容器里看到的文件系统都是一个完整的linux系统。下面来看一个简单shell脚本，将某个进程及其子进程访问根目录限制在“ /home/container ”目录，该进程及 其子进程将不能访问linux

4、系统的其他目录。先创建目录/home/container ,将bash、ls和pwd三个shell命令及运行这三个命令需要的库复制到对应目录。脚本如下：j = f白 / umt m i n白 rmidi z -p ? Jmkidir -p J/ bLnr 1 ib 4 1Icp -f /bin/bash! lsfpwd) 二n1ls3=,-5 (Lid /bin/toash | eqrep -o '/lib, *.D-91 ,),rfor i in Slist; do cp -f "S J $ i " doneLi3t«Fr； (Idd /bin/ls |

5、 egrep -o T/lib. 0-5 T)"for 1 in. $List; do cp -f 11 $i M $ (J S i H ； don&lisr5 (Idd /binpwd I egrep - * /Lib. . L D-9J 1 ) '*for i in 5list; do cp -f W ”门写住广；done执行脚本后，在/home下增加了 container文件系统，如下图蓝色部分所示:b-cBhId IlMJXB6m Sa 2 libattr m.Ii libc.so,4I 卬MomLq。 IltKBlFiUX.SO.I llbacl &

6、o 1IIE白口,谭 llbdl m ?litort.BD, 1 libtinfo 皿 5执行chroot /home/container /bin/bash 后，会启动一个 bash进程，这个进程及其所有子进程对应 的根目录就限制在“/home/container ”,且对于它们而言，就认为是自己的根目录。执行命令结果如下：loot®centos 1* chroot /honia/containat /bin/bashbash: clear: command not found由于进程的根（对应物理机系统的/home/container ）下面只有bash、pwd和ls三个命令，子

7、进程不能访问物理机的其他命令，所以当执行clear命令时就会报"command not found ”错。可见，chroot有 效地限制了进程访问操作系统文件系统的权限。2.2、 namespaceNamespace是Linux内核功能，用来隔离各种系统资源，比如进程树、用户号、网络接口、挂载点等。 当一台物理机同时运行多个应用时，有些用户会访问、修改或关闭他应用的某些资源，这样就会导致各个 应用之间互相干扰。通过使用Namespace系统就可以做到各种资源隔离。:枷翱曲系统进槿namespace建立系统的不同视图（可以理解为简易容器），每个namespace内用户看起来，像单独的一

8、 台Linux计算机，有自己的init 进程（PID为1）,其他进程的 PID依次递增。如图所示，namespace A和namespace B都有PID为1的init进程，子容器的进程映射到父容器的进程上，父容器可以知道每一个子 容器的运行状态，而子容器与子容器之间是隔离的。图中，进程 3在父命名空间里面 PID为3,但是在 namespace A就是1,也就是说namespace A内用户看到的进程 3就像init进程一样，认为这是自己的初始化进程，但是从整个操作系统来看，它只是 3号进程虚拟化出来的一个namespace而已。当前Linux 一共实现六种不同类型的namespace,分另

9、U是 mount、UTS IPC、PID、network、User等的隔离机制。各种类型 namespace实现的功能和发行系统版本关系如下：Namespace系统调用参数隔离内容内核版本MountCLONE_NEWNS挂载点（文件系统）Linux 2.4.19UTSCLONE_NEWUTS主机名与域名Linux 2.6.19IPCCLONE_NEWIPC进程间通信Linux 2.6.19PIDCLONE_NEWPID进程编号Linux 2.6.24NetworkCLONE_NEWNE-网络设备、网络栈、端口等Linux 2.6.29UserCLONE_NEWUS三用户和用户组Linux 3.

10、8F面利用一个简单程序，剖析使用namespace进行资源隔离的方法。代码如下:f de line £；TACK_Si (1 JZ4 T 1024J-tdtlc chatLrACK_SliE；int ctiild (void1|printf ( i r.：/ I,匚.，aethoatname il i h - ",12);chr&ot U7- ：hj ”Hmount(" i： ,/H,： rO.NULi);auntJ - Fy心。juLLJ treturn 1tint main (int arqcr char 1*srgv) int chil<_pi

11、d = clone(childr childatack + 5TflCK_siZECLONE_NEWN5 I CLONEJffEWVTS I CLQKEEWPI D I 5 TGCH皿 NUL')；piintf (n . .i ：(i l i 犷.child_pid) iwaitpid(child-fid! tJULLrprintf f q i r ,-.：" >return 0;执行这段c语言代码会建立了一个namespace,这个namespace的初始化进程是 bash ,用ps命令查看bash对应的进程号为1。代码显示的3591进程号是指这个 bash进程在物理

12、机系统的进程号。rooteentos-1 homeff ./demons.ouLchild_pid:3591enter namespace!bash-4.1ft ps -ef口工DP工DPPIDC：£T1ME TTYT二MECMD01 D0?00:00:00:bash-021 F L3l237OOiOOiO-O- ps -从物理机Linux系统看，执行 c语言的进程号是 3590, namespace中bash的进程号是3591。rcot0cento5-l # ps -ef | grep 3590 | grep -v grepIxoot359027320 21:23 pts/000:

13、00:00 ./demcns,outroot359135900 21:2300:00:00 bash从执行结果看，程序对挂载点、主机名和进程等进行 namespace隔离。程序运行后，sethostname将 主机名修改为container ,物理机linux主机名仍然为centos-1 ; namespace内进程与物理机linux系统 之间的进程也进行了隔离，这个namespace进程就形成了一个容器的最小内核。如果需要这个容器具有更多的功能模块，可以在容器的文件系统(对应物理机/home/container 以下目录)创建对应shell命令或者应用程序。这样，这个namespace小程序

14、启动后，系统就会出现一个功能比较丰富的容器环境。在完整docker实际运行环境，系统将各种功能代码封装到一个镜像文件中，再采用 aufs挂载的方式 提供给容器使用。这样既满足功能要求，又提升了发布和迁移的效率。3、LXC的资源配额采用chroot和namespace,系统实现了对容器的进程、主机名、文件系统、网络等资源隔离，但是容 器仍然可以没有限制地使用所有资源。此时，如果物理机同时运行多个容器，就存在抢占资源，导致物理 机瘫痪的风险。所以，要实现一个强壮的容器，就必须对容器使用的资源进行配额管理。cgroups是Linux内核提供限制进程资源的一种机制，可以用于对cpu和内存等资源的精细化

15、控制。开发者利用cgroups可以限制进程资源的使用， 比如：cgroups可以将应用消耗的计算资源限制某几个CPU甚至某个CPU的特定比率。Docker也就使用了 cgroups来完成cpu和内存等部分的资源控制。下面这段C程序，先打印出运行进程号，接着的死循环会消耗大量CPU资源。int Eia_n (void) printf ("pi d:f getpid );long n=o；fox(;) n+; return 0;程序运行后，进程号是 13649,结果如下：匚匚巳口七口0一1 home 1./eatcpu»out pid:13649再用top命令，查看系统cpu资

16、源情况发现，13649进程消耗了一核 CPU的99.8%。PID U£ERERNIVIRTRES£ 子PVSMEM TIM£+13615 root2002920344P. BBIEI0.03i04.60eatcpu.out1 root2001935215401224S C.00,1DsCl.52 init通过使用cgroups机制可以限制上述死循环程序占用CPU源的上限。具体操作是在“/cgroup/cpu ”目录新建eatcpugroup目录，并把要控制的 cpu上限值30000 (表示30灿用上限)和进程号13649加入cpu.cfs_quota_us &qu

17、ot;和"tasks ”这两个文件。脚本如下：4： /bin/basL pid=13C49 QUOTA=3000mkdir -p /cqroup/cpu/eatcpuqroupecho ?quota ? /cgroup/cpu/eatcpugroup/cpu»cfs quotajusecho 5ptd > /cgroup/cpu/eatcpugroup/tasks针对13649进程cgroup机制建立后，13649进程CPUW耗了下降到 30.6%。PTD USERPRNIVIRTRE££KR Sgptr iMEMTIME;COMMAND13649

18、 root2003920白1634，REEEI J。3:04.E0eatcpu,out1 root200193521540122J S0.0 0.10:01.52LJQLt除对CPUf用率进行限制外，cgroup还具有利用memory子系统限制进程的内存使用量、利用blkio 子 系统限制进程的块设备读写、 利用devices子系统控制进程能够访问的设备、 利用net_cls子系统限制进 程的网络数据包、利用ns子系统限制进程使用不同namespace等功能。4、简易容器实现接下来的程序将 chroot、namespace和cgroups结合运用，就实现了一个简单的容器。idefine STA

19、CK_SIZE (104 * 1024)static char child_5tack£TACK_£IZEJ 7int child(void* argsprintf二a ! n;setliostname(，rc3ntr.iner1,# 12);chroot= L.Errr);mount mount【'r ：广一”" 二/ ' £ s C, NULL I; execvI ：NULL);return 1iint main(int argc, char *argv)( print! fraain pid:*dnT,? getpid () ?ch

20、AL str 120;3printl(strj "u AIl p 广-',1；-LJu：system tstr> 7spr int £ (strj ' Il 1 ; - - - j 1 .4 ： pu - r . Ji ui . I _ ; - 100U 1 ;syaten(str);apt intf (s tr T . :Il .，二.：.一 -gi ul|. pu /- Ju:ll /1 it " r gstpid ; sy3tm tstr);lilt cbild_pld - clone(chlld child stack - stack

21、 size, CWME_NEWNS CLONE NEWU7S I CWNEJEWFID I S1GCHLD, MU1L);print!t"child pid:%dn child pid7；waitpid (child pid, NITjL, 2i) jprintt ("quit namespac!n11)； retu匚nI上述程序运行后，就创建一个简易容器环境。这个容器的初始化进程是bash,后续所有子进程能够访问的文件系统控制在物理机的 /home/container 目录映射的根目录下，同时利用namespace对子进程等进行了隔离，并通过 cgroup对这个进程及其所

22、有子进程使用cpu资源进行了限制。在这个容器的后台运行刚才消耗cpu的应用，进程1对应bash,它的子进程 2对应eatcpu.out这个程序，具体如下图所示：bash-4 *11 UIDJQps -efFID12PPID C ST1ME TTY0 0 10：5£ ?1 34 10:57 ?1TIMECMD00:00:oo bash00:00:01 </eatcpu.out从物理机的linux系统看，democontainer的进程号为3289、它的子进程bash的进程号是3293、bash的子进程eatcpu的进程号是3294,具体如下图所示:froctcento5-lrootroot32693293、1 1 p52520328-ef | grep 3259 0 18:56 pts/O 0 1S：56 pt5/0口。；