鸟哥的Linux私房菜学习笔记四
时间：2009-03-30 来源：hg1995
正规表示法 Regular Expression, RE
正规表示法就是处理字符串的方法，他是以行为单位， 来进行字符串的处理行为，他透过一些特殊符号的辅助，可以让使用者轻易的达到 搜寻/取代 某特定字符串的处理程序！
以 grep 撷取字符串:
[root@test root]# grep [-acinv] '搜寻字符串' filename
参数说明：
-a ：将 binary 档案以 text 档案的方式搜寻数据
-c ：计算找到 '搜寻字符串' 的次数
-i ：忽略大小写的不同，所以大小写视为相同
-n ：顺便输出行号
-v ：反向选择，亦即显示出没有 '搜寻字符串' 内容的那一行！
grep 在数据中查寻一个字符串时，是以 "整行" 为单位来进行数据的撷取的！
^ 符号，在字符集合符号(括号[])之内与之外是不同的！ 在 [] 内代表『反向选择』，在 [] 之外则代表定位在行首的意义！要分清楚喔！
任意一个字符 .『绝对有一个任意字符』与重复字符 *『重复 0 个或多个前面的 RE 字符』
限定连续 RE 字符范围 {}
重要特殊字符(characters):
字符 意义与范例
^word 待搜寻的字符串(word)在行首！范例：grep -n '^#' regular_express.txt搜寻行首为 # 开始的那一行！ word$ 待搜寻的字符串(word)在行尾！范例：grep -n '!$' regular_express.txt将行尾为 ! 的那一行打印出来！ . 代表『任意一个』字符，一定是一个任意字符！范例：grep -n 'e.e' regular_express.txt 搜寻的字符串可以是 (eve) (eae) (eee) (e e)， 但不能仅有 (ee) ！亦即 e 与 e中间『一定』仅有一个字符，而空格符也是字符！ \ 跳脱字符，将特殊符号的特殊意义去除！范例：grep -n \' regular_express.txt搜寻含有单引号 ' 的那一行！ * 重复零个或多个的前一个 RE 字符范例：grep -n 'ess*' regular_express.txt找出含有 (es) (ess) (esss) 等等的字符串， 注意， 因为 * 可以是 0 个，所以 es也是符合带搜寻字符串。另外，因为 * 为重复『前一个 RE 字符』的符号，因此，在 * 之前必须要紧接着一个 RE 字符喔！例如任意字符则为 『.*』 ！ \{n,m\} 连续 n 到 m 个的『前一个 RE 字符』若为 \{n\} 则是连续 n 个的前一个 RE 字符，若是 \{n,\} 则是连续 n 个以上的前一个 RE 字符！
范例：grep -n 'go\{2,3\}g' regular_express.txt 在 g 与 g 之间有 2 个到 3 个的 o 存在的字符串，亦即 (goog)(gooog) [] 字符集合的 RE 特殊字符的符号:
[list]
范例：grep -n 'g[ld]' regular_express.txt
搜寻含有 (gl) 或 (gd) 的那一行～需要特别留意的是，在 [] 当中『谨代表一个待搜寻的字符』 ，
例如： a[afl]y 代表搜寻的字符串可以是 aay, afy, aly,亦即 [afl] 代表 a 或 f 或 l 的意思！
[ch1-ch2]
范例：grep -n '[0-9]' regular_express.txt
搜寻含有任意数字的那一行！需特别留意，在字符集合 [] 中的减号 - 是有特殊意义的， 他代表两个字符之间的所有连续字符！但这个连续与否与 ASCII编码有关， 因此， 您的编码需要设定正确(在 bash 当中，需要确定 LANG 与LANGUAGE 的变量是否正确！) 例如所有大写字符则为 [A-Z]
[^]
范例：grep -n 'oo[^t]' regular_express.txt
搜寻的字符串可以是 (oog) (ood) 但不能是 (oot) ，那个 ^ 在 [] 内时，代表的意义是 『反向选择』 的意思～例如， 我不要大写字符， 则为 [^A-Z] ～但是，需要特别注意的是，如果以 grep -n [^A-Z] regular_express.txt 来搜寻， 却发现该档案内的所有行都被列出， 为什么？因为这个 [^A-Z] 是 『非大写字符』的意思， 因 为每一行均有非大写字符，例如第一行的 "OpenSource" 就有 p,e,n,o.... 等等的小写字符， 以及双引号 (") 等字符，所以当然符合 [^A-Z] 的搜寻！ 延伸正规表示法:
grep 支持的是基础型的正规表示法，而 egrep 支持延伸正规表示法。
+ 重复『一个或一个以上』的前一个 RE 字符
范例：egrep -n 'go+d' regular_express.txt
搜寻 (god) (good) (goood)... 等等的字符串。 那个 o+ 代表『一个以上的 o 』所以，上面的执行成果会将第 1, 9, 13 行列出来。 ? 『零个或一个』的前一个 RE 字符
范例：egrep -n 'go?d' regular_express.txt
搜寻 (gd) (god) 这两个字符串。 那个 o? 代表『空的或 1 个 o 』所以，上面的执行成果会将第 13, 14 行列出来。有没有发现到，这两个案例( 'go+d' 与 'go?d' )的结果集合与 'go*d' 相同？想想看，这是为什么喔！ ^_^ | 用或( or )的方式找出数个字符串
范例：egrep -n 'gd|good' regular_express.txt
搜寻 gd 或 good 这两个字符串，注意，是『或』 那如果还想要找出 dog 呢？就这样啊：
egrep -n 'gd|good|dog' regular_express.txt () 找出『群组』字符串
范例：egrep -n 'g(la|oo)d' regular_express.txt
搜寻 (glad) 或 (good) 这两个字符串，因为 g 与 d 是重复的，所以， 我就可以将 la 与 oo 列于 ( ) 当中，并以 | 来分隔开来，就可以啦！此外，这个功能还可以用来作为『多个重复群组』的判别喔！举例来说：
echo 'AxyzxyzxyzxyzC' | egrep 'A(xyz)+C'
上面的例子当中，意思是说，我要找开头是 A 结尾是 C ，中间有一个以上的 "xyz" 字符串的意思～
以上这些就是延伸型的正规表示法的特殊字符。另外，要特别强调的是，那个 ! 在正规表示法当中并不是特殊字符， 所以，如果您想要查出来档案中含有 ! 与 > 的字行时，可以这样：
grep -n '[!>]' regular_express.txt 格式化打印： printf
[root@linux ~]# printf '打印格式' 实际内容
参数：
关于格式方面的几个特殊样式：
\a 警告声音输出
\b 退格键(backspace)
\f 清除屏幕 (form feed)
\n 输出新的一行
\r 亦即 Enter 按键
\t 水平的 [tab] 按键
\v 垂直的 [tabl] 按键
\xNN NN 为两位数的数字，可以转换数字成为字符。
关于 C 程序语言内，常见的变数格式
%ns 那个 n 是数字， s 代表 string ，亦即多少个字符；
%ni 那个 n 是数字， i 代表 integer ，亦即多少整数字数；
%N.nf 那个 n 与 N 都是数字， f 代表 floating (浮点)，如果有小数字数，
假设我共要十个位数，但小数点有两位，即为 %10.2f 啰！
sed 工具简介
sed 可以分析 Standard Input (STDIN) 的数据， 然后将数据经过处理后，再将他输出到 standrad out (STDOUT) 的一个工具。
[root@linux ~]# sed [-nefr] [动作]
参数：
-n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN
的数据一般都会被列出到屏幕上。但如果加上 -n 参数后，则只有经过
sed 特殊处理的那一行(或者动作)才会被列出来。
-e ：直接在指令列模式上进行 sed 的动作编辑；
-f ：直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的
sed 动作；
-r ：sed 的动作支持的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
动作说明： [n1[,n2]]function
n1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作
是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』
function 有底下这些咚咚：
a ：新增， a 的后面可以接字符串，而这些字符串会在新的一行出现(目前的下一行)～
c ：取代， c 的后面可以接字符串，这些字符串可以取代 n1,n2 之间的行！
d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i ：插入， i 的后面可以接字符串，而这些字符串会在新的一行出现(目前的上一行)；
p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运作～
s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配
正规表示法！例如 1,20s/old/new/g 就是啦！ awk 工具简介
比较倾向于一行当中分成数个『字段』来处理。
[root@linux ~]# awk '条件类型 1{动作 1} 条件类型 2{动作 2} ...' filename
变量名称 代表意义
NF 每一行 ($0) 拥有的字段总数
NR 目前 awk 所处理的是『第几行』数据
FS 目前的分隔字符，预设是空格键 awk 的逻辑运算字符
运算单元 代表意义
> 大于
< 小于
>= 大于或等于
<= 小于或等于
== 等于
!= 不等于 档案比对:
• diff
diff 就是用在比对两个档案之间的差异的，一般是用在 ASCII 纯文字文件的比对上。
[root@linux ~]# diff [-bBi] from-file to-file参数：
from-file ：一个档名，作为原始比对档案的档名；
to-file ：一个档名，作为目的比对档案的档名；
注意，from-file 或 to-file 可以 - 取代，那个 - 代表『Standard input』之意。
-b ：忽略一行当中，仅有多个空白的差异(例如 "about me" 与 "about me" 视为相同
-B ：忽略空白行的差异。
-i ：忽略大小写的不同。 • cmp
他主要利用『位』单位去比对，因此， 当然也可以比对 binary file 啰～(还是要再提醒喔， diff 主要是以『行』为单位比对， cmp 则是以『位』为单位去比对，这并不相同！)
[root@linux ~]# cmp [-s] file1 file2
参数：
-s ：将所有的不同点的位处都列出来。因为 cmp 预设仅会输出第一个发现的不同点。 • patch
[root@linux ~]# patch -pN < patch_file
参数：
-p ：后面可以接『取消几层目录』的意思。 档案打印准备： pr
正规表示法就是处理字符串的方法，他是以行为单位， 来进行字符串的处理行为，他透过一些特殊符号的辅助，可以让使用者轻易的达到 搜寻/取代 某特定字符串的处理程序！
以 grep 撷取字符串:
[root@test root]# grep [-acinv] '搜寻字符串' filename
参数说明：
-a ：将 binary 档案以 text 档案的方式搜寻数据
-c ：计算找到 '搜寻字符串' 的次数
-i ：忽略大小写的不同，所以大小写视为相同
-n ：顺便输出行号
-v ：反向选择，亦即显示出没有 '搜寻字符串' 内容的那一行！
grep 在数据中查寻一个字符串时，是以 "整行" 为单位来进行数据的撷取的！
^ 符号，在字符集合符号(括号[])之内与之外是不同的！ 在 [] 内代表『反向选择』，在 [] 之外则代表定位在行首的意义！要分清楚喔！
任意一个字符 .『绝对有一个任意字符』与重复字符 *『重复 0 个或多个前面的 RE 字符』
限定连续 RE 字符范围 {}
重要特殊字符(characters):
字符 意义与范例
^word 待搜寻的字符串(word)在行首！范例：grep -n '^#' regular_express.txt搜寻行首为 # 开始的那一行！ word$ 待搜寻的字符串(word)在行尾！范例：grep -n '!$' regular_express.txt将行尾为 ! 的那一行打印出来！ . 代表『任意一个』字符，一定是一个任意字符！范例：grep -n 'e.e' regular_express.txt 搜寻的字符串可以是 (eve) (eae) (eee) (e e)， 但不能仅有 (ee) ！亦即 e 与 e中间『一定』仅有一个字符，而空格符也是字符！ \ 跳脱字符，将特殊符号的特殊意义去除！范例：grep -n \' regular_express.txt搜寻含有单引号 ' 的那一行！ * 重复零个或多个的前一个 RE 字符范例：grep -n 'ess*' regular_express.txt找出含有 (es) (ess) (esss) 等等的字符串， 注意， 因为 * 可以是 0 个，所以 es也是符合带搜寻字符串。另外，因为 * 为重复『前一个 RE 字符』的符号，因此，在 * 之前必须要紧接着一个 RE 字符喔！例如任意字符则为 『.*』 ！ \{n,m\} 连续 n 到 m 个的『前一个 RE 字符』若为 \{n\} 则是连续 n 个的前一个 RE 字符，若是 \{n,\} 则是连续 n 个以上的前一个 RE 字符！
范例：grep -n 'go\{2,3\}g' regular_express.txt 在 g 与 g 之间有 2 个到 3 个的 o 存在的字符串，亦即 (goog)(gooog) [] 字符集合的 RE 特殊字符的符号:
[list]
范例：grep -n 'g[ld]' regular_express.txt
搜寻含有 (gl) 或 (gd) 的那一行～需要特别留意的是，在 [] 当中『谨代表一个待搜寻的字符』 ，
例如： a[afl]y 代表搜寻的字符串可以是 aay, afy, aly,亦即 [afl] 代表 a 或 f 或 l 的意思！
[ch1-ch2]
范例：grep -n '[0-9]' regular_express.txt
搜寻含有任意数字的那一行！需特别留意，在字符集合 [] 中的减号 - 是有特殊意义的， 他代表两个字符之间的所有连续字符！但这个连续与否与 ASCII编码有关， 因此， 您的编码需要设定正确(在 bash 当中，需要确定 LANG 与LANGUAGE 的变量是否正确！) 例如所有大写字符则为 [A-Z]
[^]
范例：grep -n 'oo[^t]' regular_express.txt
搜寻的字符串可以是 (oog) (ood) 但不能是 (oot) ，那个 ^ 在 [] 内时，代表的意义是 『反向选择』 的意思～例如， 我不要大写字符， 则为 [^A-Z] ～但是，需要特别注意的是，如果以 grep -n [^A-Z] regular_express.txt 来搜寻， 却发现该档案内的所有行都被列出， 为什么？因为这个 [^A-Z] 是 『非大写字符』的意思， 因 为每一行均有非大写字符，例如第一行的 "OpenSource" 就有 p,e,n,o.... 等等的小写字符， 以及双引号 (") 等字符，所以当然符合 [^A-Z] 的搜寻！ 延伸正规表示法:
grep 支持的是基础型的正规表示法，而 egrep 支持延伸正规表示法。
+ 重复『一个或一个以上』的前一个 RE 字符
范例：egrep -n 'go+d' regular_express.txt
搜寻 (god) (good) (goood)... 等等的字符串。 那个 o+ 代表『一个以上的 o 』所以，上面的执行成果会将第 1, 9, 13 行列出来。 ? 『零个或一个』的前一个 RE 字符
范例：egrep -n 'go?d' regular_express.txt
搜寻 (gd) (god) 这两个字符串。 那个 o? 代表『空的或 1 个 o 』所以，上面的执行成果会将第 13, 14 行列出来。有没有发现到，这两个案例( 'go+d' 与 'go?d' )的结果集合与 'go*d' 相同？想想看，这是为什么喔！ ^_^ | 用或( or )的方式找出数个字符串
范例：egrep -n 'gd|good' regular_express.txt
搜寻 gd 或 good 这两个字符串，注意，是『或』 那如果还想要找出 dog 呢？就这样啊：
egrep -n 'gd|good|dog' regular_express.txt () 找出『群组』字符串
范例：egrep -n 'g(la|oo)d' regular_express.txt
搜寻 (glad) 或 (good) 这两个字符串，因为 g 与 d 是重复的，所以， 我就可以将 la 与 oo 列于 ( ) 当中，并以 | 来分隔开来，就可以啦！此外，这个功能还可以用来作为『多个重复群组』的判别喔！举例来说：
echo 'AxyzxyzxyzxyzC' | egrep 'A(xyz)+C'
上面的例子当中，意思是说，我要找开头是 A 结尾是 C ，中间有一个以上的 "xyz" 字符串的意思～
以上这些就是延伸型的正规表示法的特殊字符。另外，要特别强调的是，那个 ! 在正规表示法当中并不是特殊字符， 所以，如果您想要查出来档案中含有 ! 与 > 的字行时，可以这样：
grep -n '[!>]' regular_express.txt 格式化打印： printf
[root@linux ~]# printf '打印格式' 实际内容
参数：
关于格式方面的几个特殊样式：
\a 警告声音输出
\b 退格键(backspace)
\f 清除屏幕 (form feed)
\n 输出新的一行
\r 亦即 Enter 按键
\t 水平的 [tab] 按键
\v 垂直的 [tabl] 按键
\xNN NN 为两位数的数字，可以转换数字成为字符。
关于 C 程序语言内，常见的变数格式
%ns 那个 n 是数字， s 代表 string ，亦即多少个字符；
%ni 那个 n 是数字， i 代表 integer ，亦即多少整数字数；
%N.nf 那个 n 与 N 都是数字， f 代表 floating (浮点)，如果有小数字数，
假设我共要十个位数，但小数点有两位，即为 %10.2f 啰！
sed 工具简介
sed 可以分析 Standard Input (STDIN) 的数据， 然后将数据经过处理后，再将他输出到 standrad out (STDOUT) 的一个工具。
[root@linux ~]# sed [-nefr] [动作]
参数：
-n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN
的数据一般都会被列出到屏幕上。但如果加上 -n 参数后，则只有经过
sed 特殊处理的那一行(或者动作)才会被列出来。
-e ：直接在指令列模式上进行 sed 的动作编辑；
-f ：直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的
sed 动作；
-r ：sed 的动作支持的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
动作说明： [n1[,n2]]function
n1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作
是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』
function 有底下这些咚咚：
a ：新增， a 的后面可以接字符串，而这些字符串会在新的一行出现(目前的下一行)～
c ：取代， c 的后面可以接字符串，这些字符串可以取代 n1,n2 之间的行！
d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i ：插入， i 的后面可以接字符串，而这些字符串会在新的一行出现(目前的上一行)；
p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运作～
s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配
正规表示法！例如 1,20s/old/new/g 就是啦！ awk 工具简介
比较倾向于一行当中分成数个『字段』来处理。
[root@linux ~]# awk '条件类型 1{动作 1} 条件类型 2{动作 2} ...' filename
变量名称 代表意义
NF 每一行 ($0) 拥有的字段总数
NR 目前 awk 所处理的是『第几行』数据
FS 目前的分隔字符，预设是空格键 awk 的逻辑运算字符
运算单元 代表意义
> 大于
< 小于
>= 大于或等于
<= 小于或等于
== 等于
!= 不等于 档案比对:
• diff
diff 就是用在比对两个档案之间的差异的，一般是用在 ASCII 纯文字文件的比对上。
[root@linux ~]# diff [-bBi] from-file to-file参数：
from-file ：一个档名，作为原始比对档案的档名；
to-file ：一个档名，作为目的比对档案的档名；
注意，from-file 或 to-file 可以 - 取代，那个 - 代表『Standard input』之意。
-b ：忽略一行当中，仅有多个空白的差异(例如 "about me" 与 "about me" 视为相同
-B ：忽略空白行的差异。
-i ：忽略大小写的不同。 • cmp
他主要利用『位』单位去比对，因此， 当然也可以比对 binary file 啰～(还是要再提醒喔， diff 主要是以『行』为单位比对， cmp 则是以『位』为单位去比对，这并不相同！)
[root@linux ~]# cmp [-s] file1 file2
参数：
-s ：将所有的不同点的位处都列出来。因为 cmp 预设仅会输出第一个发现的不同点。 • patch
[root@linux ~]# patch -pN < patch_file
参数：
-p ：后面可以接『取消几层目录』的意思。 档案打印准备： pr
相关阅读 更多 +
