unix linux regular_expression.doc

正则表达式介绍 使用s h e l l时，从一个文件中抽取多于一个字符串将会很麻烦。例如，在一个文本中抽取一个词，它的头两个字符是大写的，后面紧跟四个数字。如果不使用某种正则表达式，在s h e l l中将不能实现这个操作。 正则表达式是一种可以用于模式匹配和替换的强大工具，我们可以在很多unix程序中找到正则表达式的身影，例如vi，perl，php，awk，sed，emacs，grep等。 正则表达式常见的应用场合：1. 验证用户输入是否合法，如验证 “xxxxxx.xxx”的规则，其中x字符是字母，数字，下划线，小数点或减号，邮件地址的每一部分可以有一个或多个字符。2. 验证IP地址是否符合“yyy.yyy.yyy.yyy”的规则，且每个地址段小于2553. 基本元字符集及其含义只匹配行首$只匹配行尾*一个单字符后紧跟*，匹配0个或多个此单字符匹配 内字符。可以是一个单字符，也可以是字符序列。可以使用-表示 内字符序列范围，如用 1 - 5 代替 1 2 3 4 5 只用来屏蔽一个元字符的特殊含义。因为有时在shell中一些元字符有特殊含义。可以使其失去应有意义.只匹配任意单字符p a t t e r n n 只用来匹配前面p a t t e r n出现次数。n为次数p a t t e r n n， 含义同上，但次数最少为np a t t e r n n，m 含义同上，但p a t t e r n出现次数在n与m之间grep 相信grep是UNIX和LINUX中使用最广泛的命令之一。grep（全局正则表达式版本）允许对文本文件进行模式查找。如果找到匹配模式， grep打印包含模式的所有行。grep支持基本正则表达式，也支持其扩展集。grep有三种变形，即： grep：标准grep命令，集中讨论此格式。 egrep：扩展grep，支持基本及扩展的正则表达式，但不支持 q模式范围的应用，与之相对应的一些更加规范的模式，这里也不予讨论。 fgrep：快速grep。允许查找字符串而不是一个模式。不要误解单词fast，实际上它与grep速度相当。 grep一般格式为： grep 选项 基本正则表达式 文件 这里基本正则表达式可为字符串。 在grep命令中输入字符串参数时，最好将其用双引号括起来。例如：“m y s t r i n g”。 这样做有两个原因：1. 一是以防被误解为s h e l l命令；2. 二是可以用来查找多个单词组成的字符串。 常用的grep选项有：1. -c 只输出匹配行的计数。2. -i 不区分大小写（只适用于单字符）。3. -h 查询多文件时不显示文件名。4. -l 查询多文件时只输出包含匹配字符的文件名。5. -n 显示匹配行及行号。6. -s 不显示不存在或无匹配文本的错误信息。7. -v 显示不包含匹配文本的所有行 查询多个文件如果要在当前目录下所有.c文件中查找字符串“sort”，方法如下：grep sort *.c或在所有文件中查询单词“sort it”grep sort it *1. 行匹配$ grep -c 12 datagrep返回数字4，意义是有4行包含字符串“12”。现在显示包含“12”字符串的4行文本： 行数显示满足匹配模式的所有行行数：grep -n “13” data1. 显示非匹配行显示所有不包含13的各行：grep -v “13” data1. 精确匹配grep “13” data ?1. 大小写敏感grep -i “sept” data 模式范围指定查询字符串的范围grep “1323” data 不匹配行首grep “12” data 匹配大小写grep “Ssept” data 匹配任意字符grep “IBM” data 使用grep匹配“与”或者“或”模式加参数- E允许使用扩展模式匹配grep -E “1301|1303” data 匹配特殊字符grep “” * 匹配IP地址grep “(0-91,3.)1,30-91,3” /etc/sysconfig/network-scripts/*awk awk命令，要格式化报文或从一个大的文本文件中抽取数据包。 整体来说， a w k是所有s h e l l过滤工具中最难掌握1. 复杂的语法2. 含义不明确的错误提示信息。 调用awkawk |-F field-sperator | command input-file(s)1. - F域分隔符 是可选项，a w k使用空格作为缺省的域分隔符；如浏览像passwd这种以”:”分割的文件，需要指定选项： awk -F: command input-file1. command是真正的awk命令l 域参数编号(1) 生产日期(2) 产品名称(3) 价格(4)l 抽取域awk print $1 data.txt awk 中的 print 命令把输入文件中选择的数据输出。 当 awk 读取文件的一行，根据指定的 输入域分隔符 把行分开， FS，awk 的一个环境变量。它被预先定义为一个或者多个空格或者制表符。 变量 $1, $2, $3, ., $N 把输入行的第一第二第三直到最后一个域保存起来。变量 $0 把整行的值保存起来。在下面的图片描述中，我们看到 df 命令输出有6栏。 df | awk print $1 tt $5 打印第一列和第五列，中间用两个Tab隔开 域分隔符，既不是一个单独的字符也不是一个普通的表达式，是控制 awk 把一个输入分割成几个域。输入记录按分割定义进行字符顺序扫描；域就是在相符的那些文字中间的那部分。 域分隔符代表内建的变量 FS。 域分隔符变量的值可以在 awk 程序中用赋值操作符 = 来改变。通常最好的执行时间是一开始也就是还没有处理任何输入的时候，因此第一个记录就被随合适的分隔符一起读取。使用特殊的 BEGIN 。 awk BEGIN FS=: print $1 t $7 /etc/passwd awk BEGIN FS=: printf username:%st,$1;printf home:%sn,$7 /etc/passwd awk条件操作符= = 等于!= 不等于 = 大于等于 = 小于等于 匹配正则表达式! 不匹配正则表达式 匹配：awk if($3/IBM/) print data.txt如果第3个域字段包含IBM字符，则打印1. 精确匹配awk $3=“IBM” print $0 data.txt1. 小于awk if($1“13”) print $0 data.txtsed命令 s e d是一个非交互性文本流编辑器。它编辑文件或标准输入导出的文本拷贝。标准输入可能是来自键盘、文件重定向、字符串或变量，或者是一个管道的文本。 使用s e d实现的一个重要功能是在另一个系统中下载的文件中剔除控制字符 使用p(rint)显示行1. 显示指定行的内容sed -n 2p sed.txt1. 显示指定范围的内容sed -n 1,3p sed.txt1. 模式查找匹配字符串worried，并显示此行的内容。格式/pattern/sed -n /worried/p sed.txt1. 正则表达式 使用d删除行sed 2d sed.txt 删除sed.txt文件的第二行sed 2,$d sed.txt 删除sed.txt文件第二行到末尾所有行sed $d sed.txt 删除sed.txt文件的最后一行sed /worried/d sed.txt 删除se