Shell脚本学习笔记(七)--sed和awk

sed和awk

背景

设计script时，有时候需要修改脚步，如删除或置换某些关键词。这种在script执行过程动态修改文件的做法，称为流编辑。具有流编辑能力的工具，称为流编辑器(stream editor)。sed是这方面的佼佼者，可补bash的不足。另外，script执行时可能要制作报表，呈现各种字段信息。传统上，能和bash完美搭配的，非awk莫属。

正则表达式

正则表达式是组成“样式”的基本语法，而“样式”是运用sed和awk必备的能力。sed和awk相同的运行方式是：只要符合“样式”的数据行，就对它执行指定的“操作”。

有关正则表达式的文章很多。可参见：http://www.cnblogs.com/KissKnife/archive/2008/03/23/1118423.html

sed的用法

sed是一种非交互式的流编辑器，可动态编辑文件。sed的工作模式是，比对每一数据行，若符合样式，就执行指定的操作。

语法

sed '样式命令' 文件

“样式”使用一对//含括，表示寻找之意；也可以指定数据行的范围。

sed并不会更改文件内容。sed的工作方式是读取文件内容，经流编辑之后，把结果显示到标准输出。因此，如果想要存储sed的处理结果，得自行运用转向输出将结果存成其他文件。

各种用法

1 删除某一段范围的数据行:sed '1,4d' datafl  把第1到4行数据删除，剩下的显示出来。d表示删除

2 把含有“样式”的数据行删除：sed '/La/d' datafl  把含有La的行删除，剩下的显示出来。//代表搜索

sed '/[0-9]\{3\}/d' datafl  把含有3位数的行删除，剩下的显示出来。。      正则表达式的应用

3 不含有“样式”的数据行删除：sed '/La/!d' datafl   把不含有La的行删除，剩下的显示出来

4 含有“样式”的数据行显示出来：sed '/La/p' datafl  把含有La的行显示出来。但sed默认也会把不符合的数据行显示出来，所以应这样用：sed -n '/La/p' datafl  -n会抑制sed显示

5 取代：sed -n 's/La/Oo/p' datafl s表示选取，第一对//中包括的字符串是搜索的目标，第二对//包括的是置换的字符串。它会把数据行中的La换成Oo    但这样只会更换第一个出现的La，若要全部置换，应使用：sed -n 's/La/Oo/gp' dafl

6 取用符合样式的字符串：sed -n 's/\(La\)/\1Oo/p' datafl  把找到的La存起来，用\1取回来再使用。执行的结果是，如数据行含有La，则第一个出现的La会置换成LaOo，然后显示这些含有La的数据行

7 找到符合样式的数据行后，再进行取代的操作：sed -n '/AAA/s/234/567/p' datafl 找到含AAA的那一行之后，将234换成567     sed -n '/AAA/,/DDD/s/B/567/p' datafl  将含有AAA到含有DDD的那几行，皆将其中的B换成567

例子

#!/bin/bash

if [ $# -ne 1 ] ; then
    echo "Usage: $0 on 或 $0 off"
    exit 1
fi

OPT=$1

case "$OPT" in
    [Oo][Nn]) CMD='YES';;
    [Oo][Ff][Ff]) CMD='NO';;
    *)
        echo '选项错误：使用on或off'
        exit 1;;
esac

VSFTP_conf='/etc/vsftpd.conf'
TMP_file="/tmp/tmp.$$"

if [ -e $VSFTP_conf ] ; then
    sed s/^.anonymous_enable=.*/anonymous_enable=$CMD/ $VSFTP_conf > $TMP_file
    mv -f $TMP_file $VSFTP_conf
    echo '设置成功'
else
    echo "文件：$VSFTP_conf  不存在"
fi

awk的用法

awk是一种可以处理数据，产生个时候报表的语言。工作方式是读取数据文件，将每一行数据视为一条记录，每笔记录以字段分割符分成若干字段，然后输出各个字段的值。

ps auxw | awk '{print $2}'

awk对每一条记录都会套用一个“样式{操作｝”，如果符合样式，就执行指定的操作。样式或操作之一，可以省略。如果只有样式，表示要显示符合样式的数据行；如果只有操作，表示对每一数据行都执行该项操作。

以下是awk常用的作用格式：

awk “样式” 文件 ：把符合样式的数据行显示出来

awk '{操作}' 文件 ：对每一行都执行{}中的操作

awk '样式{操作}' 文件 ：对符合样式的数据行，执行{}中的操作

awk的用法：

1 awk '/La/' datafl 显示含有La的数据行

2 awk '{print $1,$2}' datafl 显示datafl每一行的第1和第2个字段

3 awk '/La/{print $1,$2}' datafl  将含有关键词La的数据行的第1及第2个字段显示

4 awk -F: '/^ols3/{print $3,$4}' /etc/passwd 使用选项-F 指定:为分隔符，帐号ols3的uid及gid字段显示出来

5 awk -F: 'BEGIN{OFS="+++"}/^ols3/{print $1,$2,$3,$4,$5}' /etc/passwd 以:为分隔符，+++为输出字段分隔符，将帐号ols3的第1-5字段显示     BEGIN{}区域指定awk一开始先做初始化操作，设定OFS="+++"。变了OFS的作用是存储输出字段的分隔符。