awk处理字符串方法汇总

说明

本篇记录一些字符串的处理方法,这里不具体讲完整的方法,只记录遇到的需要处理的情况

用例

用例一:解析ceph.log的ops

由于ops的单位是有的带k的有的不带k的,那么需要匹配处理

字符串示例:

2021-01-13 11:09:55.664479 mgr.node103 client.994548 172.168.30.103:0/265828031 659839 : cluster [DBG] pgmap v218541: 6976 pgs: 6976 active+clean; 178TiB data, 358TiB used, 370TiB / 728TiB avail; 11.4MiB/s rd, 163MiB/s wr, 1.98kop/s
cat ceph-20210113 |grep -v noout|awk '{gsub("op/s","",$28); print $1,$2,$28}'|awk '{if($3~/k/) {gsub("k","",$3); print $1,$2","$3*1000} else {print $1,$2","$3}}'

2021-01-13 11:09:39.575349 928
2021-01-13 11:09:41.585060 919
2021-01-13 11:09:43.598471 1010
2021-01-13 11:09:45.608886 1040
2021-01-13 11:09:47.620040 1240
2021-01-13 11:09:49.630839 1460
2021-01-13 11:09:51.640537 1520
2021-01-13 11:09:53.654024 1860
2021-01-13 11:09:55.664479 1980

语法说明:
通过gsub("op/s","",$28)去掉所有的op/s字段
通过判断是否有k,有的话去掉k,并且把这个字段的转换成真实io,没有问题的就不转换

用例2:解析非固定字段

我们先看下我们的例子

[root@lab101 data]# cat test.txt
100 100k 100
200 200 200k

假如是上面的字段,我们不确定K出现在哪里,但是需要取得这行的值,那么就需要遍历行进行获取了,解析的方法如下

[root@lab101 data]# cat test.txt |awk '{for(i=1;i<=NF;i++){if($i~/k/){$1=$i;print $0}}}'
100k 100k 100
200k 200 200k

上面的例子是遍历列,我们取到了后,把值赋给变量$1的位子,整个适用于变量比较长,但是中间存在空变量的情况,也就是上面例子一当中,处于迁移状态的情况,做上面的例子一的时候解析的时候没考虑迁移的时候,字段长度发生了变化,我们重新解析一次日志

cat ceph.log |awk '{for(i=1;i<=NF;i++){if($i~/op/s/){$3=$i;print $1,$2,$3}}}'|awk '{gsub("op/s","",$3); print $1,$2,$3}'|awk '{if($3~/k/) {gsub("k","",$3); print $1,$2","$3*1000} else {print $1,$2","$3}}'

这次的解析的方法是先判断是否有op/s的,有的话放在$3的变量的位置,然后后面再处理掉op/s字段,然后根据是否有k进行转换

原文地址:https://www.cnblogs.com/zphj1987/p/14271394.html