Shell及shell编程.doc

.shell基础 基本介绍，环境，选项，特殊字符 .shell变量 用户定义变量，环境变量，位置变量(shell 参数) .shell script编程 条件测试，循环及重复控制 .shell定制 1.shell基础知识 作者：Stephen Bourne 在Bell实验室开发 建议：man sh 查看相关UNIX上的改进或特性 (1)shell提示符及其环境 /etc/passwd文件 提示符：$ /etc/profile $HOME/.profile (2)shell执行选项 -n 测试shell script语法结构，只读取shell script但不执行 -x 进入跟踪方式，显示所执行的每一条命令，用于调度 -a Tag all variables for export -c string 从strings中读取命令 -e 非交互方式 -f 关闭shell文件名产生功能 -h locate and remember functions as defind -i 交互方式 -k 从环境变量中读取命令的参数 -r 限制方式 -s 从标准输入读取命令 -t 执行命令后退出(shell exits) -u 在替换中如使用未定义变量为错误 -v verbose,显示shell输入行 这些选项可以联合使用，但有些显然相互冲突，如-e和-i. (3)受限制shell(Restircted Shell) sh -r 或 /bin/rsh 不能执行如下操作：cd, 更改PATH,指定全路径名，输出重定向，因此可以提供一个较 好的控制和安全机制。通常rsh用于应用型用户及拨号用户，这些用户通常是看不到提 示符的。通常受限制用户的主目录是不可写的。 不足：如果用户可以调用sh,则rsh的限制将不在起作用，事实上如果用户在vi及more 程序中调用shell,而这时rsh的限制将不再起作用。 (4)用set改变 shell选项 用户可以在$提示符下用set命令来设置或取消shell的选项。使用-设置选项，+取消相应 选项，大多数UNIX系统允许a,e,f,h,k,n,u,v和x的开关设置/取消。 set -xv 启动跟踪方式;显示所有的命令及替换，同样显示输入。 set -tu 关闭在替换时对未定义变量的检查。 使用echo $-显示所有已设置的shell选项。 (5)用户启动文件 .profile PATH=$PATH:/usr/loacl/bin; export PATH (6)shell环境变量 CDPATH 用于cd命令的查找路径 HOME /etc/passwd文件中列出的用户主目录 IFS Internal Field Separator,默认为空格，tab及换行符 MAIL /var/mail/$USERNAME mail等程序使用 PATH PS1，PS2 默认提示符($)及换行提示符( ) TERM 终端类型，常用的有vt100,ansi,vt200,xterm等 示例：$PS1=test:;export PS1 test: PS1=$;export PS1 $echo $MAIL /var/mail/username (7)保留字符及其含义 $ shell变量名的开始，如$var | 管道，将标准输出转到下一个命令的标准输入 # 注释开始 & 在后台执行一个进程 ？ 匹配一个字符 * 匹配0到多个字符(与DOS不同，可在文件名中间使用，并且含.) $- 使用set及执行时传递给shell的标志位 $! 最后一个子进程的进程号 $# 传递给shell script的参数个数 $* 传递给shell script的参数 $ 所有参数，个别的用双引号括起来 $? 上一个命令的返回代码 $0 当前shell的名字 $n (n:1-) 位置参数 $ 进程标识号(Process Identifier Number, PID) file 输出重定向 file 输出重定向，append 转义符及单引号： $echo $HOME $PATH /home/hbwork /opt/kde/bin:/usr/local/bin:/bin:/usr/bin:/usr/X11R6/bin: $echo $HOME $PATH $HOME $PATH $echo $HOME $PATH $HOME /opt/kde/bin:/usr/local/bin:/bin:/usr/bin:/usr/X11R6/bin:/home/hbw ork/bin 其他： $dir=ls $dir $alias dir ls $dir ls filelist ls filelist wc -l filelist wc -l filelist sleep 5; echo 5 seconds reaches; ls -l ps ax |egrep inetd find / -name core -exec rm ; & filename=date +%Y%m%d.log 2. shell变量 变量：代表某些值的符号，如$HOME,cd命令查找$HOME,在计算机语言中可以使用变量可以 进行多种运算和控制。 Bourne Shell有如下四种变量： .用户自定义变量 .位置变量即 shell script之参数 .预定义变量（特殊变量） .环境变量(参考shell定制部分) (1)用户自定义变量（数据的存储） $ COUNT=1 $ NAME=He Binwu 技巧：因为大部分UNIX命令使用小写字符，因此在shell编程中通常使用全大写变量， 当然这并不是强制性的，但使用大写字符可以在编程中方便地识别变量。 变量的调用：在变量前加$ $ echo $HOME /home/hbwork $ WEEK=Satur $ echo Today is $WEEKday Today is $echo Today is $WEEKday Today is Saturday 5) var=value？export 前后差在哪？这次让我们暂时丢开 command line ，先来了解一下 bash 变量(variable)吧.所谓的变量，就是就是利用一个特定的名称(name)来访问一段可以变化的值(value)。*设置(set)*在 bash 中，你可以用 = 来设置或重新定义变量的内容： name=value在设置变量的时侯，得遵守如下规则： * 等号左右两边不能使用区隔符号(IFS)，也应避免使用 shell 的保留字符(meta charactor)。 * 变量名称不能使用 $ 符号。 * 变量名称的第一个字母不能是数字(number)。 * 变量名称长度不可超过 256 个字母。 * 变量名称及变量值之尺寸写是有区别的(case sensitive)。如下是一些变量设置时常见的错误： A= B ：不能有 IFS 1A=B ：不能以数字开头 $A=B ：名称不能有 $ a=B ：这跟 a=b 是不同的如下则是可以接受的设置： A= B ：IFS 被关闭了 (请参考前面的 quoting 章节) A1=B ：并非以数字开头 A=$B ：$ 可用在变量值内 This_Is_A_Long_Name=b ：可用 _ 连接较长的名称或值，且尺寸写有别。*变量替换(substitution)*Shell 之所以强大，其中的一个因素是它可以在命令行中对变量作替换(substitution)处理。在命令行中用户可以使用 $ 符号加上变量名称(除了在用 = 号定义变量名称之外)，将变量值给替换出来，然后再重新组建命令行。比如：CODE: $ A=ls $ B=la $ C=/tmp $ $A -$B $C(注意：以上命令行的第一个 $ 是 shell prompt ，并不在命令行之内。)必需强调的是，我们所提的变量替换，只发生在 command line 上面。(是的，让我们再回到 command line 吧！)仔细分析最后那行 command line ，不难发现在被执行之前(在输入 CR 字符之前)，$ 符号会对每一个变量作替换处理(将变量值替换出来再重组命令行)，最后会得出如下命令行：CODE: ls -la /tmp还记得第二章我请大家务必理解的那两句吗？若你忘了，那我这里再重贴一遍：QUOTE:若从技术细节来看，shell 会依据 IFS(Internal Field Seperator) 将 command line 所输入的文字给拆解为字段(word)。 然后再针对特殊字符(meta)先作处理，最后再重组整行 command line 。 这里的 $ 就是 command line 中最经典的 meta 之一了，就是作变量替换的！在日常的 shell 操作中，我们常会使用 echo 命令来查看特定变量的值，例如：CODE: $ echo $A -$B $C我们已学过， echo 命令只单纯将其 argument 送至标准输出(STDOUT，通常是我们的荧幕)。 所以上面的命令会在荧幕上得到如下结果：CODE: ls -la /tmp这是由於 echo 命令在执行时，会先将 $A(ls)、$B(la)、跟 $C(/tmp) 给替换出来的结果。利用 shell 对变量的替换处理能力，我们在设置变量时就更为灵活了： A=B B=$A这样，B 的变量值就可继承 A 变量当时的变量值了。不过，不要以数学罗辑来套用变量的设置，比方说： A=B B=C这样并不会让 A 的变量值变成 C 。再如： A=B B=$A A=C同样也不会让 B 的值换成 C 。上面是单纯定义了两个不同名称的变量：A 与B ，它们的值分别是 B 与C 。若变量被重复定义的话，则原有旧值将被新值所取代。(这不正是可变的量吗？_)当我们在设置变量的时侯，请记著这点： * 用一个名称存储一个数值仅此而已。此外，我们也可利用命令行的变量替换能力来扩充(append)变量值： A=B:C:D A=$A:E这样，第一行我们设置 A 的值为 B:C:D，然后，第二行再将值扩充为 B:C:D:E 。上面的扩充样例，我们使用区隔符号( : )来达到扩充目的，要是没有区隔符号的话，如下是有问题的： A=BCD A=$AE因为第二次是将 A 的值继承 $AE 的提换结果，而非 $A 再加 E 要解决此问题，我们可用更严谨的替换处理： A=BCD A=$AE上例中，我们使用 将变量名称的范围给明确定义出来，如此一来，我们就可以将 A 的变量值从 BCD 给扩充为 BCDE 。(提示：关于 $name 事实上还可做到更多的变量处理能力，这些均属于比较高级的变量处理，现阶段暂时不介绍了，请大家自行参考数据。如 CU 的贴子：/forum/viewtopic.php?t=201843)* export *严格来说，我们在当前 shell 中所定义的变量，均属於本地变量(local variable)，只有经过 export 命令的输出处理，才能成为环境变量(environment variable)：CODE: $ A=B $ export A或：CODE: $ export A=B经过 export 输出处理之后，变量 A 就能成为一个环境变量供其后的命令使用。在使用 export的时侯，请别忘记 shell 在命令行对变量的替换(substitution)处理，比方说：CODE: $ A=B $ B=C $ export $A上面的命令并未将 A 输出为环境变量，而是将 B 作输出，这是因为在这个命令行中，$A 会首先被提换出 B 然后再塞回作 export 的参数。要理解这个 export ，事实上需要从 process 的角度来理解才能透彻。我将於下一章为大家说明 process 的观念，敬请留意。*取消变量*要取消一个变量，在 bash 中可使用 unset 命令来处理：CODE: unset A与 export 一样，unset 命令行也同样会作变量替换(这其实就是 shell 的功能之一)，因此：CODE: $ A=B $ B=C $ unset $A事实上所取消的变量是 B 而不是 A 。此外，变量一旦经过 unset 取消之后，其结果是将整个变量拿掉，而不仅是取消其变量值。如下两行其实是很不一样的：CODE: $ A= $ unset A第一行只是将变量 A 设置为空值(nullvalue)，但第二行则让变量 A 不在存在。虽然用眼睛来看，这两种变量状态在如下命令结果中都是一样的：CODE: $ A= $ echo $A $ unset A $ echo $A 请学员务必能标识 null value 与 unset 的本质区别，这在一些高级的变量处理上是很严格的。比方说：CODE: $ str= # 设为 null $ var=$str=expr # 定义 var $ echo $var $ echo $str $ unset str # 取消 $ var=$str=expr # 定义 var $ echo $var expr $ echo $str expr聪明的读者(yes, you!)，稍加思考的话，应该不难发现为何同样的 var=$str=expr 在 null 与 unset 之下的不同吧？若你看不出来，那可能是如下原因之一：a. 你太笨了b. 不了解var=$str=expr 这个高级处理c. 对本篇说明还没来得及消化吸收e. 我讲得不好不知，你选哪个呢？._高级字串处理 变量赋值方式str 没有赋值str 为空字符串str 为非空字符串备注var=$str-exprvar=exprvar=$str对var进行设置var=$str+exprvar=$strvar=expr对var进行设置,var与str要不都取值，要不都不取值。虽然取值不同var=$str=exprstr=exprvar=exprstr 不变var=$str对var与str进行设置，var 与str保持一致var=$str?exprexpr 输出至 stderrvar=str对var进行设置var=$str:-exprvar=exprvar=$strvar=$str:+exprvar=var=exprvar=$str:=exprstr=exprvar=exprstr 不变var=$strvar=$str:?exprexpr 输出至 stderrvar=str得到长度Copy to clipboard - CODE:%x=abcd#方法一%expr length $x4# 方法二%echo $#x4# 方法三%expr $x : .*4# expr 的帮助# STRING : REGEXP anchored pattern match of REGEXP in STRING查找子串Copy to clipboard - CODE:%expr index$x b2%expr index$x a1%expr index$x b2%expr index$x c3%expr index$x d4得到子字符串Copy to clipboard - CODE:# 方法一# expr startpos length%expr substr $x 1 3abc%expr substr $x 1 5abcd%expr substr $x 2 5bcd# 方法二# $x:pos:lenght%echo $x:1bcd%echo $x:2cd%echo $x:0abcd%echo $x:0:2ab%pos=1%len=2%echo $x:$pos:$lenbc匹配正则表达式Copy to clipboard - CODE:# 打印匹配长度%expr match $x .1%expr match $x abc3%expr match $x bc0字符串的掐头去尾Copy to clipboard - CODE:%x=aabbaarealwwvvww%echo $x%w*waabbaarealwwvv%echo $x%w*waabbaareal%echo $x#a*alwwvvww%echo $x#a*abbaarealwwvvww其中 , # 表示掐头， 因为键盘上 # 在 $ 的左面。其中 , % 表示%，因为键盘上 % 在 $ 的右面。单个的表示最小匹配，双个表示最大匹配。也就是说，当匹配的有多种方案的时候，选择匹配的最大长度还是最小长度。字符串的替换Copy to clipboard - CODE:%x=abcdabcd%echo $x/a/b # 只替换一个bbcdabcd%echo $x/a/b # 替换所有bbcdbbcd不可以使用 regexp ， 只能用 * ? 的文件扩展方式。Shell变量赋值从右从左进行(Linux Shell/bash从左向右赋值!) $ X=$Y Y=y $ echo $X y $ Z=z Y=$Z $ echo $Y $ 使用unset命令删除变量的赋值 $ Z=hello $ echo $Z hello $ unset Z $ echo $Z $ 有条件的命令替换 在Bourne Shell中可以使变量替换在特定条件下执行，即有条件的环境变量替换。 这种变量替换总是用大括号括起来的。 .设置变量的默认值 在变量未赋值之前其值为空。Bourne Shell允许对变量设置默认值，其格式如 下： $variable:-defaultvalue 例： $ echo Hello $UNAME Hello $ echo Hello $UNAME:-there Hello there $ echo $UNAME #变量值并未发生变化 $ UNAME=hbwork $ echo Hello $UNAME:-there Hello hbwork $ .另一种情况：改变变量的值，格式如下： $variable:=value 例： $ echo Hello $UNAME Hello $ echo Hello $UNAME:=there Hello there $ echo $UNAME #变量值并未发生变化 there $ .变量替换中使用命令替换 $USERDIR=$MYDIR:-pwd .在变量已赋值时进行替换 $variable:+value .带有错误检查的有条件变量替换 $variable:?value 例： $ UNAME= $ echo $UNAME:?UNAME has not been set UNAME: UNAME has not been set $ echo $UNAME:? UNAME: parameter null or not set (2)位置变量(Shell参数) 在shell script中位置参数可用$1.$9表示，$0表示内容通常为当前执行程序的文件名。 .防止变量值被替换 readonly variable .使用export命令输出变量，使得变量对子shell可用，当shell执行一下程序时，shell 将为其设置一个新的环境让其执行，这称之了subshell. 在Bourne Shell中变量通常 被认为是本地变量，也就是说在对其赋值之外的shell环境之外是不认识此变量的。使 用export对subshell可用。 例：对变量PS1的export操作，shell的提示符将发生变化。 $ PS1=hostname$ peony$sh $ echo $PS1 $ -输出结果 $ exit peony$export PS1 peony$sh peony$ echo $PS1 peony$ /dev/rmt/0h 书写程序的目的是一次编程，多次使用（执行）！ $ cat backup.sh cd /home/hbwork ls * | cpio -o /dev/rmt/0h D 执行： $ sh backup.sh 或： $ chmod +x backup.sh $ ./backup.sh 技巧：在shell script中加入必要的注释，以便以后阅读及维护。 (2)shell是一个（编程）语言 同传统的编程语言一样，shell提供了很多特性，这些特性可以使你的shell script 编程更为有用，如：数据变量、参数传递、判断、流程控制、数据输入和输出，子 程序及以中断处理等。 . 在shell编程中使用数据变量可以将程序变量更为通用，如在上面backup.sh中： cd $WORKDIR ls * | cpio -o /dev/rmt/0h . Shell编程中的注释以#开头 . 对shell变量进行数字运算，使用expr命令 expr integer operator integer 其中operator为+ - * / %, 但对*的使用要用转义符,如： $expr 4 * 5 20 $int=expr 5 + 7 $echo $int 12 (3)Shell编程的参数传递, 可通过命令行参数以及交互式输入变量(read) restoreall.sh 对backup.sh程序的备份磁带进行恢复 $cat restoreall.sh cd $WORKDIR cpio -i /dev/rmt/0h D restore1.sh:只能恢复一个文件 #restore1 -program to restore a single file cd $WORKDIR cpio -i $i /dev/rmt/0h $restore1 file1 恢复多个文件restoreany : #restoreany -program to restore a single file cd $WORKDIR cpio -i $* /dev/rmt/0h rm -rf * 改进如下: #当使用了管道命令时,管理命令的返回代码为最后一个命令的返回代码 if ls -a | cpio -o /dev/rmt/0h then rm -rf * fi . if-then-else语句 if command_1 then command_2 else command_3 fi 技巧: 由于shell对命令中的多余的空格不作任何处理,一个好的程序员会用这一特 性 对自己的程序采用统一的缩进格式,以增强自己程序的可读性. . 使用test命令进行条件测试 格式: test conditions test在以下四种情况下使用:a. 字符比较 b.两个整数值的比较 c. 文件操作,如文件是否存在及文件的状态等 d. 逻辑操作,可以进行and/or,与其他条件联合使用 a. 测试字符数据: shell变量通常民政部下均作为字符变量 str1 = str2 二者相长,相同 =号两边要有空格str1 != str2 不同 -n string string不为空(长度不为零) -z string string为空 string string不为空 例: $ str1=abcd #在含有空格时必须用引号括起来 $ test $str1=abcd $ echo $? 0 $ str1=abcd $ test $str1=abcd $ echo $? 1 Note: 在test处理含有空格的变量时最好用引号将变量括起来,否则会出现错误的 结果, 因为shell在处理命令行时将会去掉多余的空格,而用引号括起来则可以防止 shell去掉这些空格. 例: $ str1= $ test $str1 $ echo $? 1 $ test $str1 $ echo $? 0 $ test -n $str1 test: argument expected $ test -n $str1 $ echo $? 0 $ b. 整数测试: test与expr相同,可以将字符型变量转换为整数进行操作,expr进行 整数的算术运算,而test则进行逻辑运算. 表达式 说明 - int1 -eq int2 相等? int1 -ne int2 不等? int1 -gt int2 int1 int2 ? int1 -ge int2 int1 = int2 ? int1 -lt int2 int1 int2 ? int1 -le int2 int1 empty $ test -r empty $ echo $? 0 $ test -s empty 1 $ test ! -s empty $ echo $? 0 e. 测试条件之逻辑运算 -a And -o Or 例: $ test -r empty -a -s empty $ echo $? 1 f. 进行test测试的标准方法 因为test命令在 shell编程中占有很重要的地位,为了使shell能同其他编程语言 一样 便于阅读和组织, Bourne Shell在使用test测试时使用了另一种方法:用方括号将 整个test测试括起来: $ int1=4 $ $int1 -gt 2 $ echo $? 0 例: 重写unload程序,使用test测试 #!/bin/sh #unload - program to backup and remove files #syntax: unload directory #check arguments if $# -ne 1 then echo usage: $0 directory exit 1 fi #check for valid directory name if ! -d $1 then echo $1 is not a directory exit 2 fi cd $1 ls -a | cpio -o /dev/rmt/0h if $? -eq 0 then rm -rf * else echo A problem has occured in creating backup echo The directory will not be ereased echo Please check the backup device exit 3 fi # end of unload 在如上示例中出现了exit, exit有两个作用:一是停止程序中其他命令的执行/二 是设置程序的退出状态 g. if嵌套及elif结构 if command then command else if command then command else if command then command fi fi fi 改进:使用elif结构 if command then command elif command then command elif command then command fi elif结构同if结构类似,但结构更清淅,其执行结果完全相同 返回页首 chg1226公社特别嘉宾注册: Mar 22, 2003文章: 150位置: China 发表于: 2003年 08月21日 03:01 发表主题: - ZZBourne Shell及shell编程(2) 发信人: Altmayer (alt追求堕落极限 ), 信区: GNULinux 标 题: Bourne Shell及shell编程(2) 发信站: 饮水思源 (2001年12月30日00:21:51 星期天), 站内信件 【 以下文字转载自 Altmayer 的信箱 】 【 原文由 A 所发表 】 来 源: from (06) 日 期: Sun Dec 30 00:20:37 2001 标 题: LINUX选修课讲课义:Bourne Shell及shell编程(2) 发信站: 碧海青天 (Thu Apr 22 23:33:45 1999), 转信 版权声明： 本文内容为大连理工大学LINUX选修课讲义，欢迎大家转载，但禁止使用本材料进行 任何商业性或赢利性活动。转载时请保留本版权声明。 作者：何斌武，,大连理工大学网络中心，April 1999. URL: /pub/PEOPLE/albin/ /*抱歉，为了格式不乱，我用代码模式粘贴全文*/ - 源码:- Bourne Shell及Shell编程(2) h.交互式从键盘读入数据 使用read语句，其格式如下： read var1 var2 . varn read将不作变量替换，但会删除多余的空格，直到遇到第一个换行符（回车）， 并将输入值依次赋值给相应的变量。 例： $ read var1 var2 var3 Hello my friends $ echo $var1 $var2 $var3 Hello my friends $ echo $var1 Hello $ read var1 var2 var3 Hello my dear friends $ echo $var3 dear friends -输入多余变量时，输入值余下的内容赋给最后一个变量 $ read var1 var2 var3 Hello friends $ echo $var3 - var3为空 $ 在shell script中可使用read语句进行交互操作： . #echo -n message 输出结果后不换行 echo -n Do you want to continue: Y or N read ANSWER if $ANSWER = N -o $ANSWER = n then exit fi i. case结构：结构较elif-then结构更清楚 比较if-then语句： if variable1 = value1 then command command elif variable1 = value2 then command command elif variable1 = value3 then command command fi 相应的case结构： case value in pattern1) command command; pattern2) command command; . patternn) command; esac * case语句只执行第一个匹配模式 例：使用case语句建立一个菜单选择shell script #Display a menu echo _ echo 1 Restore echo 2 Backup echo 3 Unload echo #Read and excute the users selection echo -n Enter Choice: read CHOICE case $CHOICE in 1) echo Restore; 2) echo Backup; 3) echo Unload; *) echo Sorry $CHOICE is not a valid choice exit 1 esac 在上例中，*指默认匹配动作。此外，case模式中也可以使用逻辑操作，如下所示 ： pattern1 | pattern2 ) command command ; 这样可以将上面示例程序中允许用户输入数字或每一个大写字母。 case $CHOICE in 1|R) echo Restore; 2|B) echo Backup; 3|U) echo Unload; *) echo Sorry $CHOICE is not a valid choice exit 1 esac (5)循环控制 while循环: 格式： while command do command command command . done 例： 计算1到5的平方 #!/bin/sh # #Filename: square.sh int=1 while $int -le 5 do sq=expr $int * $int echo $sq int=expr $int + 1 done echo Job completed $ sh square.sh 1 4 9 16 25 Job completed until循环结构： 格式： until command do command command . command done 示例：使用until结构计算1-5的平方 #!/bin/sh int=1 until $int -gt 5 do sq=expr $int * $int echo $sq int=expr $int + 1 done echo Job completed 使用shift对不定长的参数进行处理 在以上的示例中我们总是假设命令行参数唯一或其个数固定，或者使用$*将整个命 令 行参数传递给shell script进行处理。对于参数个数不固定并且希望对每个命令参 数 进行单独处理时则需要shift命令。使用shift可以将