awk 分组求和
- 分组求和
-
awk '{s[substr($2,1,6)] += $1} END{for(i in s) {print i, s[i]/(1024*1024*1024)} }' file_to_read.txt |sort -n这里面用到了awk的知识和字典的知识。AWK 中需要了解的就是$N 代表所读取内容的第N 列。
可能有人对字典不太了解. s={'name':'halberd'} ,这就是一个字典，是Key-value的组合。
在上面的字典示例中，key 是 'name'，value 是 'halberd'。s[name] 的值 就是 'halberd'。
返回上面的AWK示例， s[substr($2,1,6)] += $1 代表把文件 file_to_read.txt 每行中第二列的前6个字符作为 字典 s 的key 。
当substr($2,1,6) 的值第一次出现时，s[substr($2,1,6)] = $1。
当substr($2,1,6) 的值重复出现时时, s[substr($2,1,6)] += $1 代表，把$1 的值 加到 原来s[substr($2,1,6)]上，也就是s[substr($2,1,6)] = s[substr($2,1,6)] + $1。通过字典的管理方式，进行数据的求和。
file_to_read.txt 部分内容如下:
......... 1125017 20180820174000 277 20180820174000 1491471 20180820175000 663 20180820175000 1429371 20180920170000 3716506 20181020170000 21055029 20181020170000 2218546 20181020171000 4650637 20181020174000 23847465 20181020174000 5341238 20181020175000 24666314 20181020175000 1621883 20181120170000 20620952 20181120170000 1756716 20181120171000 21409188 20181120171000 23085774 20190920174000 1126625 20190920175000 24564610 20190920175000 583910 20191020170000 22511935 20191020170000 921893 20191020171000 23906308 20191020171000 629943 20191020172000 25916302 20191020172000 1063984 20191020173000 25617169 20191020173000 780478 20191020174000 ................
- 结果示例
-
201808 2.50172 201809 6.61726 201810 66.528 201811 84.6913 201812 91.871 201901 115.439 201902 124.768 201903 115.127 201904 91.7492 201905 93.8242 201906 92.1708 201907 83.1374 201908 95.1076 201909 85.789 201910 80.9189
Created: 2019-10-28 Mon 17:30