awk 是一种处理文本文件的语言,是一个强大的文本分析工具。
awk‘条件1{动作1} 条件2{动作2}…’ 文件名
条件(pattern):
一般使用关系表达式作为条件。这些关系表达式非常多,例如:
x > 10 判断变量x是否大于10
x == y 判断变量x是否等于变量y
a ~ b 判断字符串a中是否包含能匹配b表达式的子字符串
a !~ b 判断字符串a中是否不包含能匹配b表达式的子字符串
动作(action) :
格式化输出
流程控制语句
常用参数:
-f 指定输入时用到的字段分隔符
-v 自定义变量
-f 从脚本中读取awk命令
-m 对val值设置内在限制
printf 格式化输出
printf ‘输出类型输出格式’ 输出内容
输出类型:
%c: ascii字符.显示相对应参数的第一个字符
%-ns: 输出字符串,减号“-”表示左对齐(默认右对齐),n是数字指代输出几个字符,几个参数就写几个%-ns
%-ni: 输出整数,n是数字指代输出几个数字
%f: 输出小数点右边的位数
%m.nf: 输出浮点数,m和n是数字,指代输出的整数位数和小数位数。如%8.2f代表共输出8位数,其中2位是小数,6位是整数。
输出格式:
\a: 输出警告声音
\b: 输出退格键,也就是backspace键
\f: 清除屏幕
\n: 换行
\r: 回车,也就是enter键
\t: 水平输出退格键,也就是tab 键
\v: 垂直输出退格键,也就是tab 键
为了演示printf命令,我们需要修改下刚刚cut命令使用的student.txt文件,文件内容如下:
[root@localhost ~]$ vi student.txt
id name php linux mysql average
1 aaa 66 66 66 66
2 bbb 77 77 77 77
3 ccc 88 88 88 88
#printf格式输出文件
[root@localhost ~]$ printf '%s\t %s\t %s\t %s\t %s\t %s\t \n’ $(cat student.txt)
#%s分别对应后面的参数,6列就写6个
id name php linux mysql average
1 aaa 66 66 66 66
2 bbb 77 77 77 77
3 ccc 88 88 88 88
如果不想把成绩当成字符串输出,而是按照整型和浮点型输出,则要这样:
[root@localhost ~]$ printf '%i\t %s\t %i\t %i\t %i\t %8.2f\t \n’ \ $(cat student.txt | grep -v name)
我们这里先来学习awk基本用法,也就是只看看格式化输出动作是干什么的。
[root@localhost ~]$ awk '{printf $2 "\t" $6 "\n"}’ student.txt
#输出第二列和第六列
比如刚刚截取df命令的结果时,cut命令已经力不从心了,我们来看看awk命令:
[root@localhost ~]$ df -h | awk '{print $1 "\t" $3}'
#截取df命令的第一列和第三列
awk 的条件
条件的类型 | 条件 | 说明 |
---|---|---|
awk保留字 | begin | 在awk程序一开始时,尚未读取任何数据之前执行。begin后的动作只在程序开始时执行一次 |
awk保留字 | end | 在awk程序处理完所有数据,即将结束时执行。end后的动作只在程序结束时执行一次 |
关系运算符 | > | 大于 |
关系运算符 | < | 小于 |
关系运算符 | >= | 大于等于 |
关系运算符 | <= | 小于等于 |
关系运算符 | == | 等于。用于判断两个值是否相等,如果是给变量赋值,请使用“”号 |
关系运算符 | != | 不等于 |
关系运算符 | a~b | 判断字符串a中是否包含能匹配b表达式的子字符串 |
关系运算符 | a!~b | 判断字符串a中是否不包含能匹配b表达式的子字符串 |
正则表达式 | /正则/ | 如果在"//"中可以写入字符,也可以支持正则表达式 |
begin
begin是awk的保留字,是一种特殊的条件类型。begin的执行时机是“在 awk程序一开始时,尚未读取任何数据之前执行”。一旦begin后的动作执行一次,当awk开始从文件中读入数据,begin的条件就不再成立,所以begin定义的动作只能被执行一次。
例如:
[root@localhost ~]$ awk 'begin{printf "this is a transcript \n" } {printf $2 "\t" $6 "\n"}’ student.txt
#awk命令只要检测不到完整的单引号不会执行,所以这个命令的换行不用加入“|”,就是一行命令
#这里定义了两个动作
#第一个动作使用begin条件,所以会在读入文件数据前打印“这是一张成绩单”(只会执行一次)
#第二个动作会打印文件的第二字段和第六字段
end
end也是awk保留字,不过刚好和begin相反。end是在awk程序处理完所有数据,即将结束时执行。end后的动作只在程序结束时执行一次。例如:
[root@localhost ~]$ awk 'end{printf "the end \n"} {printf $2 "\t" $6 "\n"}’ student.txt
#在输出结尾输入“the end”,这并不是文档本身的内容,而且只会执行一次
关系运算符
举几个例子看看关系运算符。假设我想看看平均成绩大于等于87分的学员是谁,就可以这样输入命令:
例子1:
[root@localhost ~]$ cat student.txt | grep -v name | awk '$6 >= 87 {printf $2 "\n"}'
#使用cat输出文件内容,用grep取反包含“name”的行
#判断第六字段(平均成绩)大于等于87分的行,如果判断式成立,则打第六列(学员名$2)
加入了条件之后,只有条件成立动作才会执行,如果条件不满足,则动作则不运行。通过这个实验,大家可以发现,虽然awk是列提取命令,但是也要按行来读入的。这个命令的执行过程是这样的:
1)如果有begin条件,则先执行begin定义的动作。
2)如果没有begin条件,则读入第一行,把第一行的数据依次赋予$0、$1、$2等变量。其中$0代表此行的整体数据,$1代表第一字段,$2代表第二字段。
3)依据条件类型判断动作是否执行。如果条件符合,则执行动作,否则读入下一行数据。如果没有条件,则每行都执行动作。
4)读入下一行数据,重复执行以上步骤。
再举个例子,如果我想看看sc用户的平均成绩呢:
例子2:
[root@localhost ~]$ awk '$2 ~ /aaa/ {printf $6 "\n"}' student.txt
#如果第二字段中输入包含有“sc”字符,则打印第六字段数据
85.66
这里要注意在awk中,使用“//”包含的字符串,awk命令才会查找。也就是说字符串必须用“//”包含,awk命令才能正确识别。
正则表达式
如果要想让awk 识别字符串,必须使用“//”包含,例如:
例子1:
[root@localhost ~]$ awk '/liming/ {print}’student.txt
#打印liming的成绩
当使用df命令查看分区使用情况是,如果我只想查看真正的系统分区的使用状况,而不想查看光盘和临时分区的使用状况,则可以:
例子2:
[root@localhost ~]$ df -h | awk '/sda[o-9]/ {printf $1 "\t" $5 "\n"}’
#查询包含有sda数字的行,并打印第一字段和第五字段