3_Linux 进程编程.ppt

Linux进程编程 LinuxProcessprogramme 课程目标 进程的概念进程的内存布局Linux下进程的控制创建新进程进程间同步僵尸进程Exec执行进程守护进程 进程概念 进程的概念 通俗的讲 进程就是一个在运行的程序 进程是一个具有独立功能的程序关于某个数据集合的一次可以并发执行的运行活动 是处于活动状态的计算机程序 有一些特殊情况 多进程程序 一个程序的主进程 可能创建若干个子进程 进程作为构成系统的基本细胞 不仅是系统内部独立运行的实体 而且是独立竞争资源的基本实体 这里资源一般指CPU运行时间 内存 外部设备访问权 可执行文件 一般讲软件是一个包含可以执行代码的文件 或者说是一些规定格式的二进制文件 存在计算机的文件系统里面 而进程是一个开始执行但是还没有结束的程序的实例 存在系统的内存之中 就是可执行文件的具体实现 不同操作系统可执行程序的格式都不一样 如Linux下采用称为ELF的格式 而Windows采用称为PE的可执行格式 但总体上大体的结构类似 每一个程序都有一些固定段 而运行时进程操作系也是一样 大体上分为比较固定的几个段 Linux查看进程的命令 ps查看进程的标准状况top看进程的CPU占用率和内存使用情况 proc 这是一个虚拟目录 下面各个文件表示进程各种情息 可以用cat查看比如1号进程 可以用查看各种状态cat proc 1 status 进程内存布局 进程内存分局 在长期计算机科学的发展当中 程序在内存分区已经形成固定的布局 无论Linux Unix下的应用程序 还是Windows下的程序 甚至是在没有操作系统的下运行底层程序 如bootloader 以及ARM的单纯的C程序 它们都按大致固定的段来进行布局 其它的开发语言 如Java之类也采用同样布局方式 保存时的分段 对于一个C程序而言 当一个程序还是一个可执行文件时 至少包含如下几个段Text段 保存是机器代码Data段 保存是已经初始化变量BSS段 BlockStorageStart 保存是未初始化的变量这里只保存变量所占用空间尺寸一个数值 并未在内存中开展所有数清晰的知道不同类型的变量分布在哪一个段里 是一个C开发者必备知识之一 可执行程序段的分配原则 代码段 textsegment 存放CPU执行的机器指令 machineinstructions 也就是存储你的程序代码编译后的机器代码 在内存中 这一段是只读的 所有可执行代码即C的语句和函数都会被编译到可执行段中 初始化数据段 数据段 initializeddatasegment datasegmen 包含静态初始化的数据 所以有初值的全局变量和static变量在data区 未初始化数据段 bss段 bss是英文BlockStartedbySymbol的简称 通常是指用来存放程序中未初始化的全局变量和静态变量的一块内存区域 在程序载入时由内核清0 所有未初始化的全局变量 包括括静态或非静态的 均保存在这一个段 因为没有初始化数据 为了节约可执行文件空间 所以所有在BSS段里的程序只占一个标识符空间 和记录所占空间大小 其变量所占空间没有展开 所有在BSS段里变量在装入时由操作系统统一清0注意在可执行文件是不会有局域变量的空间的 因为他们要等于执行后在进程的空间动态在stack区创建 分配实例 includeinta 未初始 分配到bss段 staticintb 3 已初始化变量 分配到data段中 intc 4 已初始化变量 分配到data段中 staticchard 10 3 4 已初始始化变量 分配到data段中 其中数据直接写在data空间 main inte 3 局域变量 在程序文件里没有位置 printf hello printf d d d s d a b c d e 验证分配空间 在Linux下 可以用nm导出符号表来查看变量是否分配在哪一个段中nmproc symbol txt 运行后内存分区 当程序运行后 除了上述段会装入进程空间 还有两个新的区分配在进程空间中 栈段 stack 保存函数的局部变量和函数参数 是一种 后进先出 LastInFirstOut LIFO 的数据结构 这意味着最后放到栈上的数据 将会是第一个从栈上移走的数据 对于哪些暂时存贮的信息 和不需要长时间保存的信息来说 LIFO这种数据结构非常理想 在调用函数或过程后 系统通常会清除栈上保存的局部变量 函数调用信息及其它的信息 栈另外一个重要的特征是 它的地址空间 向下减少 即当栈上保存的数据越多 栈的地址就越低 栈 stack 的顶部在可读写的RAM区的最后 因为栈是有限度的 因此 无限递归之类调用会将栈空间用关 堆段 heap 用于动态内存分配 dynamicmemoryallocation 所有malloc的分配的内存空间都是从这一个区域分配出来 保存函数内部动态分配内存 是另外一种用来保存程序信息的数据结构 更准确的说是保存程序的动态变量 堆是 先进先出 FirstInfirstOut FIFO 数据结构 它只允许在堆的一端插入数据 在另一端移走数据 堆的地址空间 向上增加 即当堆上保存的数据越多 堆的地址就越高 堆 栈分配原因 函数参数 函数返回值 局域变量均是保存在栈 stack 中 所有malloc分配的空间 都是从堆 heap 中进行分配 用free把不用空间送回堆C 的new delete是malloc的封装 进程典型分区 代码段 textsegment 从地址低端开始 往上 栈底从地址高端地址往下 在这个特定的表示结构中 栈段从高地址向低地址扩展 在堆顶和栈顶之间的虚拟地址空间是很大的 这保证了2个段不会互相干扰 程序运行的布局 代码段 TEXT 数据段 DATA 未初始化数据段 BSS 堆 heap 栈 stack 低地址 高地址 0 x3FFFFFFF 0 x00000000 Linux进程内存布局 代码段 TEXT 数据段 DATA 未初始化数据段 BSS 堆 heap 栈 stack 低地址 高地址 0 x3FFFFFFF 0 x00000000 命令行参数 环境变量 共享内存 bss段和 data段的区别 用gcc编译可以发现program2编译之后所得的可执行文件比program1的要大得多 这是因为未初始化的变量会保存BSS段 并且只是这个段里放一个全局变量ar标识符和尺寸 并未占用太多空间 所以程序1较小 而程序2中的变量ar被初始化 将在data段中展开 因为整个程序也变得较大 栈区与堆区的区别 在一个应用程序的虚拟空间里 堆的尺寸远大于栈 而栈被频繁的使用 局域变量 函数参数等都需要栈的来处理 栈比一般开发者想象还要小 有时会小到只有4096字节 因此在一个应用程序 分配一个巨大的自动变量和分配一个巨大的全局变量一样 是一件非常不明智的事情 在运行时 会立刻造成程序段错误 比较好的做法是用动态分配的方法来分配巨大的结构 进程控制 常见进程控制函数 常见进程控制函数fork 创建一个新进程exec 用一个新进程去执行一个命令行exit 正常退出进程abort 非正常退出一个进程kill 杀死进程或向一个进程发送信号wait 等待子进程结束sleep 将当前进程休眠一段时间getpid 取得进程编号getppid 取得父进程编号 进程标识符 进程ID也被称作进程标识符 是一个非负的整数 在Linux操作系统中唯一地标志一个进程 进程ID相关的系统调用 include includepid tgetpid void 取得当前进程标识pid tgetppid void 取得当前进程父母进程标识uid tgetuid void 来取得执行目前进程的用户识别码uid tgeteuid void 用来取得执行目前进程有效的用户识别码uid euid区别请看下页gid tgetgid void 取得当前进程组编号gid tgetegid void 取得当前进程有效组编号 真实ID与有效ID 每个进程会被分配三个ID真实 有效和保存ID Real Effective SavedUID 内核会给每个进程关联两个和进程ID无关的用户ID 一个是真实用户ID 还有一个是有效用户ID或者称为setuid setuserID 真实用户ID用于标识由谁为正在运行的进程负责 有效用户ID用于为新创建的文件分配所有权 检查文件访问许可 还用于通过kill系统调用向其它进程发送信号时的许可检查 内核允许一个进程以调用exec一个setuid程序或者显式执行setuid系统调用的方式改变它的有效用户ID 进程状态 进程状态 state 说明了它在某一个特定时刻的状况 大多数操作系统都允许如下几种状态新建 new 正在创建运行 running 正在执行指令阻塞 blocked 等待像I O这样的事件就绪 ready 等待分配处理器完成 done 结束 进程状态迁延图 新建 就绪 运行 阻塞 完成 进程被创建军 被选中运行 I O完成 时间片到 I O请求 正常结束 Linux进程的状态 每个进程从创建到激活的整个生存周期 Linux进程分为几个状态 用户状态 进程在用户状态下运行的状态 内核状态 进程在内核状态下运行的状态 内存中就绪 进程没有执行 但处于就绪状态 只要内核调度它 就可以执行 内存中睡眠 进程正在睡眠并且进程存储在内存中 没有被交换到SWAP设备 就绪且换出 进程处于就绪状态 但是必须把它换入内存 内核才能再次调度它进行运行 睡眠且换出 进程正在睡眠 且被换出内存 被抢先 进程从内核状态返回用户状态时 内核抢先于它 做了上下文切换 调度了另一个进程 原先这个进程就处于被抢先状态 创建状态 进程刚被创建 该进程存在 但既不是就绪状态 也不是睡眠状态 这个状态是除了进程0以外的所有进程的最初状态 僵尸状态 zombie 进程调用exit结束 进程不再存在 但在进程表项中仍有纪录 该纪录可由父进程收集 各种状态可以互相转换 进程在它的生命周期里并不一定要经历所有的状态 Linux进程状态翻转 ps查看进程状态 PS显示状态D不可中断睡眠 通常是在IO操作 R正在运行或可运行 在运行队列排队中 S可中断睡眠 在等待某事件完成 TStopped eitherbyajobcontrolsignalorbecauseitisbeingtraced W正在换页 2 6 内核之前有效 X死进程 shouldneverbeseen Z僵尸 进程调度 CPU一个时刻只能运行一个程序 在操作系统实现的多进程 看起来好象在同时运行多个程序 实际是是OS的制造的假像象一个人只有一双手 但是可以同时操作N个桔子一样 这牵涉到一个调度的问题 schedule 在Linux中 每个进程在创建时都会被分配一个数据结构 称为进程控制块 ProcessControlBlock 简称PCB PCB中包含了很多重要的信息 供系统调度和进程本身执行使用 在调度时 操作系统不断进行上下文切换 contextswitch 即将一个进程从运行状态退出 并运行另一个进程 进程的创建 在Linux中 创造新进程的方法只有一个 fork 创建子进程 其它调用system exec最后也是调用fork pid tfork shell执行一个命令相当于调用了fork当一个进程调用了fork以后 系统会创建一个子进程 这个子进程和父进程不同的地方只有他的进程ID和父进程ID 其他的都是一样 就象符进程克隆 clone 自己一样参考代码 fork test c fork的常用结构 为了区分父进程和子进程 我们必须跟踪fork的返回值 当fork掉用失败的时候 内存不足或者是用户的最大进程数已到 fork返回 1 否则fork的返回值有重要的作用 对于父进程fork返回子进程的ID 而对于fork子进程返回0 我们就是根据这个返回值来区分父子进程的 fork 的特点 fork 的子进程是完整从父进程里克隆一个内存w分区出来 创建后 子进程运行就跟父进程没有什么关系了 两个进程各自独立运行 父进程 fork 子进程 fork的特点 fork 是Linux机制 这种多进程执行代码在C语言上是解释不通的 即一段代码由子进程执行 一段代码由父进程执行在fork时 子进程从父进程拷贝完整的一套text data bss和堆和栈 然后在内存中另外的地方建立一模一样的环境 因此fork一瞬间 子进程的全局变量 局域变量 打开的文件操作符跟父进程一模一样 但随着代码的变化 各个变量的值开始发生不同变化 进程的退出 exit exit或者main函数里return来设置进程退出值 为了得到这个值Linux定义了几个宏来测试这个返回值 WIFEXITED 判断子进程退出值是非0WEXITSTATUS 判断子进程的退出值 当子进程退出时非0 WIFSIGNALED 子进程由于有没有获得的信号而退出 WTERMSIG 子进程没有获得的信号号 在WIFSIGNALED为真时才有意义 exit 函数与 exit 函数最大的区别就在于exit 函数在调用exit系统调用之前要检查文件的打开情况 把文件缓冲区中的内容写回文件 就是清理I O缓冲 进程的阻塞 一旦子进程被创建 父子进程一起从fork处继续执行 相互竞争系统的资源 有时候我们希望子进程继续执行 而父进程阻塞直到子进程完成任务 这个时候我们可以调用wait或者waitpid系统调用 pid twait int stat loc pid twaitpid pid tpid int stat loc intoptions wait系统调用会使父进程阻塞直到一个子进程结束或者是父进程接受到了一个信号 如果没有父进程没有子进程或者他的子进程已经结束了wait回立即返回 成功时 因一个子进程结束 wait将返回子进程的ID 否则返回 1 并设置全局变量errno stat loc是子进程的退出状态 子进程调用从本质上讲 系统调用waitpid和wait的作用是完全相同的 但waitpid多出了两个可由用户控制的参数pid和options 从而为我们编程提供了另一种更灵活的方式 下面我们就来详细介绍一下这两个参数 staticinlinepid twait int wait stat returnwaitpid 1 wait stat 0 wait waitpid waitpid的返回值比wait稍微复杂一些 一共有3种情况 当正常返回的时候 waitpid返回收集到的子进程的进程ID 如果设置了选项WNOHANG 而调用中waitpid发现没有已退出的子进程可收集 则返回0 如果调用中出错 则返回 1 这时errno会被设置成相应的值以指示错误所在 进程间同步 进程同步就是要协调好2个以上的进程 使之以安排好地次序依次执行 比如进程间同步有多种方法 其中用wait是一种方法之一 僵尸进程 Zombie 在一个进程调用了exit之后 该进程并非马上就消失掉 而是留下一个称为僵尸进程 Zombie 的数据结构 在Linux进程的5种状态中 僵尸进程是非常特殊的一种 它已经放弃了几乎所有内存空间 没有任何可执行代码 也不能被调度 仅仅在进程列表中保留一个位置 记载该进程的退出状态等信息供其他进程收集 除此之外 僵尸进程不再占有任何内存空间 参见Zombie c 僵尸进程虽然对其他进程几乎没有什么影响 不占用CPU时间 消耗的内存也几乎可以忽略不计 Zombie实例 exec一组执行外部命令调用 exec指的是一组函数 一共有6个 includeintexecl constchar path constchar arg intexeclp constchar file constchar arg intexecle constchar path constchar arg char constenvp intexecv constchar path char constargv intexecvp constchar file char constargv intexecve constchar path char constargv char constenvp 其中只有execve是真正意义上的系统调用 其它都是在此基础上经过包装的库函数 exec函数族的作用是根据指定的文件名找到可执行文件 并用它来取代调用进程的内容 换句话说 就是在调用进程内部执行一个可执行文件 这里的可执行文件既可以是二进制文件 也可以是任何Linux下可执行的脚本文件 上面6条函数看起来似乎很复杂 但实际上无论是作用还是用法都非常相似 只有很微小的差别 exec一组执行外部命令调用 2 完全整的main主函数定义intmain intargc char argv char envp 参数argc指出了运行该程序时命令行参数的个数 数组argv存放了所有的命令行参数 数组envp存放了所有的环境变量 intexecve constchar path char constargv char constenvp 前3个函数都是以execl开头的 后3个都是以execv开头的 它们的区别在于 execv开头的函数是以 char argv 这样的形式传递命令行参数 而execl开头的函数采用了我们更容易习惯的方式 把参数一个一个列出来 然后以一个NULL表示结束 这里的NULL的作用和argv数组里的NULL作用是一样的 全部6个函数中 只有execle和execve使用了char envp 传递环境变量 其它的4个函数都没有这个参数 这并不意味着它们不传递环境变量 这4个函数将把默认的环境变量不做任何修改地传给被执行的应用程序 而execle和execve会用指定的环境变量去替代默认的那些 execl execlp execv execve execvp System函数 system是直接用一个字符串执行一个命令system ls l system ifconfigeth0192 168 0 104 定义 intsystem constchar cmdstring 在ANSIC定义了 但是对操作系统依赖很高 通常在Linux使用 system可以看成是一个阻塞执行的函数 在其实现中调用了fork exec和waitpid 因此有三种返回值如果fork失败或者waitpid返回除EINTR之外的出错 则system返回 1 而且errno中设置了错误类型 如果exec失败 表示不能执行shell 则其返回值如同shell执行了exit 127 一样 否则所有三个函数 fork exec和waitpid 都成功 并且system的返回值是shell的终止状态 其格式已在waitpid中说明 system 守护进程 daemon进程 Daemon运行在后台 有时人们也把它们称作 后台服务进程 类似于Windows的服务几乎所有的服务器程序 包括我们熟知的Apache和wu FTP 都用daemon进程的形式实现 很多Linux下常见的命令如inetd和ftpd 末尾的字母d就是指daemon Daemon的结构 daemon进程的编程规则调用fork产生一个子进程 同时父进程退出 我们所有后续工作都在子进程中完成 这样做我们可以交出控制台的控制权 并为子进程作为进程组长作准备由于父进程已经先于子进程退出 会造成子进程没有父进程 变成一个孤儿进程 orphan 每当系统发现一个孤儿进程 就会自动由1号进程收养它 这样 原先的子进程就会变成1号进程的子进程 调用setsid系统调用 这是整个过程中最重要的一步 的作用是创建一个新的会话 session 并自任该会话的组长 sessionleader 让进程摆脱原会话的控制 让进程摆脱原进程组的控制 让进程摆脱原控制终端的控制 把当前工作目录切换到根目录 以防止在整个进程运行期间该文件所在当前目系统系统都无法被卸下 umount 将文件权限掩码设为0 这需要调用系统调用umask 这样Deamon创建文件不会有太大麻烦关闭所有不需要的文件 同文件权限掩码一样 我们的新进程会从父进程那里继承一些已经打开了的文件