作业一:整理博客,内容包含awk、变量、运算符、if多分支
一、AWK
语法
awk [options] 'commands' files option -F 定义字段分隔符,默认的分隔符是连续的空格或制表符 使用option中的-F参数定义间隔符号 用$1,$2,$3等的顺序表示files中每行以间隔符号分隔的各列不同域 NF变量表示当前记录的字段数 -v定义变量并赋值 也可以借用次方式从shell变量中引入
command处理
1.读前处理 BEGIN{awk_cmd1;awk_cmd2} 2.行处理:定址 命令 定址方法:正则,变量,比较和关系运算 正则需要用//包围起来 ^行首 $行尾 .除了换行符以外的任意单个字符 *前导字符的零个或多个 .*所有字符 []字符组内的任一字符 [^]对字符组内的每个字符取反(不匹配字符组内的每个字符) ^[^]非字符组内的字符开头的行 [a-z]小写字母 [A-Z]大写字母 [a-Z]小写和大写字母 [0-9]数字 <单词头 单词一般以空格或特殊字符做分隔,连续的字符串被当做单词 >单词尾
扩展正则 加 -r 参数 或转义
sed -n '/roo?/p' /etc/passwd sed -rn '/roo?/p' /etc/passwd
? 前导字符零个或一个
+ 前导字符一个或多个
abc|def abc或def
a(bc|de)f abcf 或 adef
x{m} x出现m次
x{m,} x出现m次至多次(至少m次)
x{m,n} x出现m次至n次
NR变量定址
NR 表示AWK读入的行数
FNR表示读入行所在文件中的行数
# awk '{print NR,FNR,$1}' file1 file2 1 1 aaaaa 2 2 bbbbb 3 3 ccccc 4 1 dddddd 5 2 eeeeee 6 3 ffffff
逻辑运算 可直接引用域进行运算
== >= <= != > < ~ !~ # awk 'NR==1 {print}' /etc/passwd root:x:0:0:root:/root:/bin/bash # 3.命令 {print $0} 4.读后处理 END {awk_cmd1;awk_cmd2;}
AWK变量
NR 当前记录的个数(全部文件连接后的统计) FNR 当前记录的个数(仅为当前文件的统计,非全部) FS 字段分隔符 默认为连续空格或制表符,可以使用多个不同的符号做分隔符 -F[:/] OFS 输出字符的分隔符 默认是空格 # awk -F: 'OFS="=====" {print $1,$2}' /etc/passwd root=====x NF 当前读入行的字段个数 ORS 输出记录分隔符 默认是换行 # awk -F: 'ORS="=====" {print $1,$2}' /etc/passwd root x=====bin x===== FILENAME 当前文件名
引用shell变量的方法
# a=root # awk -v var=$a -F: '$1 == var {print $0}' /etc/passwd 或者 把整个命令拆开传递,让shell变量外露, # awk -F: '$1 == "'$a'" {print $0}' /etc/passwd # a=NF # awk -F: '{print $'$a'}' /etc/passwd
操作符
赋值
= += -= /= *= 逻辑与 逻辑或 逻辑非 && || ! 匹配正则或不匹配,正则需要用 /正则/ 包围住 ~ !~ 关系 比较字符串时要把字符串用双引号引起来 < <= > >= != == 字段引用 $ 字段引用需要加$,而变量引用直接用变量名取 运算符 + - * / % ++ -- 转义序列 \ 自身 $ 转义$ 制表符 退格符 回车符 换行符 c 取消换行
作业二:awk文本处理
1、打印uid在30~40范围内的用户名
[root@nfs-server ~]# awk -F: '$3>=30 && $3<=40{print $1}' /etc/passwd rpc ntp
2、打印第5-10行的行号和用户名
[root@nfs-server ~]# awk -F: 'NR>=5 && NR<=10{print NR,"-------",$1}' /etc/passwd 5 ------- lp 6 ------- sync 7 ------- shutdown 8 ------- halt 9 ------- mail 10 ------- operator
3、打印奇数行
[root@nfs-server ~]# awk '(NR%2){print NR,"----",$0}' test 1 ---- root:x:0:0:root:/root:/bin/bash 3 ---- nginx:x:991:547:Nginx web server:/var/lib/nginx:/sbin/nologin 5 ---- abominate:x:1010:1011::/home/abominate:/bin/bash 7 ---- atomize:x:1012:1013::/home/atomize:/bin/bash 9 ---- Wpq2222b:x:1014:1015::/home/Wpq2222b:/bin/bash 11 ---- egon666:x:1016:1017::/home/egon666:/bin/bash [root@nfs-server ~]#
4、打印偶数行
[root@nfs-server ~]# awk '!(NR%2){print NR,"----",$0}' test 2 ---- bin:x:1:1:bin:/bin:/sbin/nologin 4 ---- abominable:x:1009:1010::/home/abominable:/bin/bash 6 ---- anomie:x:1011:1012::/home/anomie:/bin/bash 8 ---- Alex213sb:x:1013:1014::/home/Alex213sb:/bin/bash 10 ---- yH438PIG:x:1015:1016::/home/yH438PIG:/bin/bash 12 ---- egon:x:1017:1002::/home/egon:/bin/bash
5、打印字段数大于5的行
[root@nfs-server ~]# awk -F: 'NF>5{print $1,"-----",NF}' test root ----- 7 bin ----- 7 nginx ----- 7 abominable ----- 7 abominate ----- 7 anomie ----- 7 atomize ----- 7 Alex213sb ----- 7 Wpq2222b ----- 7 yH438PIG ----- 7 egon666 ----- 7 egon ----- 7
6、打印UID不等于GID的用户名
[root@nfs-server ~]# awk -F: '$3!=$4{print $3,"----",$4}' test 991 ---- 547 1009 ---- 1010 1010 ---- 1011 1011 ---- 1012 1012 ---- 1013 1013 ---- 1014 1014 ---- 1015 1015 ---- 1016 1016 ---- 1017 1017 ---- 1002
7、打印没有指定shell的用户
[root@nfs-server ~]# awk -F: '$NF!~/bash$/{print $0}' test bin:x:1:1:bin:/bin:/sbin/nologin nginx:x:991:547:Nginx web server:/var/lib/nginx:/sbin/nologin
作业三:shell脚本编写
1、自动部署、初始配置、并启动nginx反向代理服务
#!/bin/sh ngxStatus=`ps aux | grep -v grep |grep -c nginx` if [ -e /usr/sbin/nginx ];then echo "nginx already installed" exit 110 else yum install epel-release -y -q yum install gcc-* glibc-* openssl openssl-devel pcre pcre-devel zlib zlib-devel -y -q yum install nginx -y -q echo "install nginx successful" fi if [ -f /etc/nginx/nginx.conf ];then /bin/cp /etc/nginx/nginx.conf /etc/nginx/nginx.conf.bak sed -i '/^http/a\t upstream luchuangao { server web01; server web02; server web03; }' /etc/nginx/nginx.conf sed -i '/^ location / {/a\t proxy_pass http://luchuangao;' /etc/nginx/nginx.conf echo "Configuration successful" fi if [ $ngxStatus -lt 2 ];then systemctl start nginx echo "Start nginx successful" fi
2、自动部署、初始配置、并启动三台web
#!/bin/sh ngxStatus=`ps aux | grep -v grep |grep -c nginx` if [ -e /usr/sbin/nginx ];then echo "nginx already installed" exit 110 else yum install epel-release -y -q yum install gcc-* glibc-* openssl openssl-devel pcre pcre-devel zlib zlib-devel -y -q yum install nginx -y -q echo "install nginx successful" fi if [ -f /etc/nginx/nginx.conf ];then /bin/cp /etc/nginx/nginx.conf /etc/nginx/nginx.conf.bak sed -i '/^ location / {/a\t root /data/www/html; index index.html;' /etc/nginx/nginx.conf mkdir -p /data/www/html echo `hostname` > /data/www/html/index.html echo "Configuration successful" fi if [ $ngxStatus -lt 2 ];then systemctl start nginx echo "Start nginx successful" fi
3、监控脚本:监控每台机器的内存使用率>70%,则输出报警信息
#!/bin/sh mem_use=`free | awk 'NR==2{print $3}'` mem_total=`free | awk 'NR==2{print $2}'` mem_per=`echo "scale=2;$mem_use/$mem_total"|bc -l |cut -d . -f2` if [ -e /usr/bin/bc ];then echo "bc already installed" else yum install bc -y -q echo "bc nginx successful" fi #if [ $mem_per -gt 70 ];then if (( $mem_per > 70 )); then echo "Warning free has not enough, now free is ${mem_per}%" else echo "Now free is ${mem_per}%" fi
参考链接:http://www.cnblogs.com/linhaifeng/p/6596660.html
参考链接:http://www.cnblogs.com/linhaifeng/p/6602149.html