用到的时候措手不及,不用的时候一大坨. 基于这个原因,打算重整旗鼓,经常用到的命令和栗子整理如下
像是割草一样,我不信搞不彻底.搞不顺手.
find+xargs/sed&sed后向引用+awk多匹配符+过滤行绝招总结&&产生随机数
1.mkdir
2.ls
-l
-d 显示目录
-F 给文件夹结尾加/标识
-a 以.开头的都是隐藏文件
-rt 按照修改时间倒序排列(最新修改的在最下)
ls -lrth
3.cd
4.pwd
5.touch
6.vi
7.vim
8.echo
配合 > >>
-n 不换行
-e 内容携带转义(
回车 tab)
- 不换行
[root@n6 ~]# echo -n '123'
123[root@n6 ~]#
- 让
等转义
默认是:
[root@n6 ~]# echo 'mao
tai'
mao
tai
加-e后
[root@n6 ~]# echo -e 'mao
tai'
mao
tai
9.cat
-n 显示行号
10.xargs: http://man.linuxde.net/xargs
-n max-args 多少个一组,默认是1
-i [replace-str] 后向引用
- 用法展示
echo stu{1..20}|xargs -n 2 > 2.md
- 单行输出(默认-n1)
cat test.txt
a b c d e f g
h i j k l m n
o p q
r s t
u v w x y z
cat test.txt | xargs
a b c d e f g h i j k l m n o p q r s t u v w x y z
cat test.txt | xargs -n3
a b c
d e f
g h i
j k l
m n o
- 查找替换(处理木马)
find . -type f|xargs sed -i 's#<script type="text/javascript" src=http://%4%66ccxxx&W@#@$@#$@$%@#$SFADS@#$></script>##g';
- 在移动和重命名时候才需要 -i,否则不需要
find . -type f -name '1.md'|xargs -i mv {} /tmp/
find . -type f -name '1.md'|xargs -i mv {} /tmp/{}.bak
11.cp
-a 等价于-pbr
-f(force)
-r(recursive)递归
12.rm
1.以tmp为回收站
2.先cd,后find . -name ""|xargs rm -f
13.mv
14.find: http://www.cnblogs.com/iiiiher/p/8507948.html
-type f(file) d(directory) c(character) b(block) s(socket) l(link)
-name
-size
-mtime 修改时间: +7(超过7天) 7 -7(7天内)
-maxdepth 查找深度
! 取反, -a(and)交集(默认), -o or并集
-exec
- 移动或者重命名时xargs 需要-i后向引用.
find . -type f -name '1.md'|xargs -i mv {} /tmp/
- 删除
find . -type f -mtime +7 |xargs rm -f
- 删除
find . -type f -mtime +7 -exec rm -f {} ;
15.grep:三剑客老三
-i 不区分大小写
-n 对匹配到的内容显示行号
-v 排除: 生产监控进程: ps -ef|grep "/sshd"|grep -v "grep"
-E 等价于egrep '1|2'
-o 只显示匹配到的内容
-P 使用perl正则
-ABC
栗子:
- 过滤ip(注意192. 的点要转义)
[root@n1 ~]# ifconfig eth0|grep -oP "([0-9]{1,3}.){3}([0-9]{1,3})"
192.168.2.11
255.255.255.0
192.168.2.255
- 优化启动项
[root@n6 ~]# chkconfig --list|grep -E "rsyslog|sshd|network|crond|sysstat" |awk '{print "chkconfig",$1,"on"}'
chkconfig crond on
chkconfig network on
chkconfig rsyslog on
chkconfig sshd on
chkconfig sysstat on
- 精简nginx配置
egrep -v '^$|#' nginx.conf.default > nginx.conf
21.sed
-n 取消默认输出,仅输出匹配想要的
-p 打印, sed -n'20'p a.log; sed -n '20,30'p a.log
过滤功能(正则):sed -n '/^d/p'
g与s联合使用,表示替换: sed -i 's#maotai#maotai#g' a.log #是分隔符
sed过滤功能:
ls -l|sed -n '/^d/p'
ls -l|sed -n '//$/p'
过滤文件权限:stat maotai.txt |sed -nr '4s#^.*(0(.*)/-.*$#1#gp'
过滤ip: ifconfig eth0|sed -nr '2s#^.*net (.*) net.*$#1#gp'
栗子:
sed 后向引用是一个绝招
22.awk #过滤/输出内容,一门语言.
NR 行号: awk 'NR>30 && NR<40'
awk 'NR>30 && NR<40 {print $2}' m.txt
$1 第一列 $2第二列 $0整个行:
awk '{print $1,$2}'
awk '{print $1"#"$2}'
awk '{if($2>1) print$0}'
cat svc.txt|grep -E "rsyslog|sshd|network|crond|sysstat" |awk '{print "chkconfig",$1,"on"}'
显示行号:
awk '{print NR,$0}'
过滤功能(正则): 正则匹配: awk '/^d/'
(过滤目录)ls -l|awk '/^d/'
(过滤目录)ls -l|awk '//$/'
-F 分隔符 ,以多个分割符分割 awk -F '[: ]+'
过滤文件权限: stat maotai.txt |sed -nr '4s#^.*(0(.*)/-.*$#1#gp'
过滤ip: ifconfig eth0|sed -nr '2s#^.*net (.*) net.*$#1#gp'
栗子:
awk多分割符是一个绝招
过滤权限
过滤ip
awk运算是一个绝招: http://www.cnblogs.com/iiiiher/p/8576537.html
- top url
- top ip
- tcp11种状态统计
16.head
-n5: 显示前5行, 习惯head -5
-c: 显示str的多少个字符
栗子
- 生产随机数
[root@n1 ~]# echo $RANDOM|md5sum|head -c10
bcb6293ae4[root@n1 ~]#
17.tail
18.alias
19.unalias
20.seq sequence -s指定分割符
seq 开始 结束: seq 1 10
seq 开始 公差 结束: seq 1 2 10
栗子:
[root@n6 ~]# seq 1 2 10
1
3
5
7
9
[root@n6 ~]#
- 指定空格为分隔符
[root@n6 ~]# seq -s ' ' 1 2 10
1 3 5 7 9
- for循环
for i in `seq 1 10`;do echo $i;done
for i in {1..10};do echo $i;done
对比{1..10}
23,useradd
24,passwd
非交互式改密码: echo "12345"|passwd --stdin maotai
25.uname:
-m 32or64
-r 内核版本
-a(all)
-n(主机名)
26.
27.
28,init: 切换运行级别,后面接对应级别的数字,例如: init 6重启, init 0关机.
29.shutdown -h now
-r
-h
30.reboot(init 6)重启, shutdown -r now
last, 对应/var/log/wtmp； 成功登录用户
lastb, 对应/var/log/btmp； 尝试登录信息
lastlog,对应/var/log/lastlog； 显示最近登录信息
> /var/log/wtmp
> /var/log/btmp
> /var/log/lastlog
> /root/.bash_history
- 不记录日志
$ <空格>command
/etc/profile HISTSIZE=1000设置为0,不记录
32.dmeseg 显示系统故障信息
33.ifup和ifdown, 启动停止网卡
34.nl number lines,显示文件行号
35.less 和more相反,回车一次一行,空格一次一屏,按b可以一次回退一屏.
36.more (不常用) 按页一次一屏,不能回退
37, wc -l(lines) 显示总行数
生产监控进程: ps -ef|grep "/sshd"|grep -v "grep"|wc -l
38,chkconfig 设置开机自启动,默认管理2345级别
也可以:/etc/rc.local
--list 显示所有
--list sshd
--level 234
chkconfig sshd on/off
chkconfig --level 234 sshd on/off
chkconfig --list #列出所有的系统服务
chkconfig --add httpd #增加httpd服务
chkconfig --del httpd #删除httpd服务
chkconfig --level httpd 2345 on #设置httpd在运行级别为2、3、4、5的情况下都是on（开启）的状态
chkconfig --list #列出系统所有的服务启动情况
chkconfig --list mysqld #列出mysqld服务设置情况
chkconfig --level 35 mysqld on #设定mysqld在等级3和5为开机运行服务，--level 3
39,tar 打包 z c v f j x X N p P C --exclude
tar -cvf test.tgz test/ --exclude *.txt --exclude dir1
参考: http://www.cnblogs.com/iiiiher/p/8571517.html
40,cut 切割 取列 -d分隔符 -f取列 -c字符
-d, --delimiter=DELIM 以...分割
-f, --fields=LIST 第几列
-c, --characters=LIST 取多少个字符 -c2-10
栗子:
- 取passwd第一列
cat /etc/passwd|cut -d ':' -f 1
- 取随机数
[root@n1 ~]# echo $RANDOM|md5sum|cut -c 1-10
6241129142
41,tr 逐个字符替换
[root@n1 ~]# echo {a..z}|tr '[a-z]' '[A-Z]'
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
42stat 显示文件和文件系统状态(查看文件属性)
43,file 查看文件的类型
44.last 查看用户登录信息 /var/log/wtmp数据文件
45,lastlog 显示最近用户登录信息, /var/log/wtmp
46,df -h
47.dumpe2fs 查看文件系统的内部信息(元数据)
48,tree 查看目录
-L level: Max display depth of the directory tree 取dir多少层
-d List directories only:仅显示目录
栗子:
- 仅显示一层目录
tree -Ld 1 /
51.du -sh # 查看文件和目录的大小
-h, --human-readable
-s, --summarize: display only a total for each argument, 显示大小. -s和-d冲突,同时仅能用一个
-d(depth), --max-depth=N: 查看几级目录
栗子:
- (面试题)仅查看一级的目录大小(结合tree -Ld 1 /)
du -hd 1 /
du -sh /* #这个也ok
- 查看某个dir大小
du -sh .
49,id 查看用户和组的信息
50,ln 创建软硬链接 -s软(readlink)
52.which 从PATH变量所在路径查找程序路径
curl命令
-I --max-time <seconds> # 超时时间
-o/--output # 把输出写到该文件中
-s/--silent # 静音模式。不输出任何东西
-w/--write-out [format] # 什么输出完成后
-A/--user-agent <string> # 设置用户代理发送给服务器
-b/--cookie <name=string/file> # cookie字符串或文件读取位置
-c/--cookie-jar <file> # 操作结束后把cookie写入到这个文件中
-C/--continue-at <offset> # 断点续转
-D/--dump-header <file> # 把header信息写入到该文件中
-e/--referer # 来源网址
-f/--fail # 连接失败时不显示http错误
-O/--remote-name # 把输出写到该文件中，保留远程文件的文件名
-r/--range <range> # 检索来自HTTP/1.1或FTP服务器字节范围
-T/--upload-file <file> # 上传文件
-u/--user <user[:password]> # 设置服务器的用户和密码
-x/--proxy <host[:port]> # 在给定的端口上使用HTTP代理
-#/--progress-bar # 进度条显示当前的传送状态
- 获取状态码头部
curl -I -m 10 -o /dev/null -s -w %{http_code} cnblogs.com
wget
- 测速(可以看到三大isp的速度)
wget -qO- bench.sh | bash
lsof
lsof -i:80 # 根据端口查进程 查看80对应的进程名
lsof -p 32555 # (**ms**)根据进程id查进程打开的文件 查看pid为32555打开的文件
ipcs - provide information on ipc facilities
ipcs -m # (**ms**) 查看共享内存
[参考](http://topspeedsnail.com/clear-last-linux-login-log/)
history: /etc/profile HISTSIZE=1000设置为1
-c clear清空
-r 清除当前session的
-w 立即更新
$ <空格>command # 不记录
$ cat .bash_history # 删除指定行
last, 对应/var/log/wtmp； 成功登录用户
lastb, 对应/var/log/btmp； 尝试登录信息
lastlog,对应/var/log/lastlog； 显示最近登录信息
特殊变量:
PATH 所有命令的路径所在地,用冒号隔离
LANG 字符集变量
第二波预测试:
1,过滤出已知当前目录下test/中所有一级目录(不含test/下的子目录的子目录,及隐藏目录)
方法1: 目录是d
ls -l|grep "^d"
方法2: 给目录加上/
ls -lF|grep "/$"
方法3: find找一层,排除当前目录
[root@n1 test]# find ./ -maxdepth 1 -type d ! -name '.'
./dir1
./dir2
方法4: 第二列(硬连接大于1的)
ls -l|awk '{if($2>1) print$0}'
方法5: sed过滤功能(正则)
ls -l|sed -n '/^d/p'
ls -l|sed -n '//$/p'
方法6: awk过滤功能(正则)
ls -l|awk '/^d/'
ls -l|awk '//$/'
2.查找最新创建的两个文件/
- 造数据
for i in `seq 14`;do date -s "2018/01/$i";touch access_www_$(date +%F).log;done
[root@n1 test]# find . -type f -mtime +7
./access_www_2018-01-01.log
./access_www_2018-01-02.log
./access_www_2018-01-03.log
./access_www_2018-01-04.log
./access_www_2018-01-05.log
./access_www_2018-01-06.log
./access_www_2018-01-07.log
./access_www_2018-01-08.log
./access_www_2018-01-09.log
./access_www_2018-01-10.log
./access_www_2018-01-11.log
./access_www_2018-01-12.log
./access_www_2018-01-13.log
./access_www_2018-01-14.log
find . -type f -mtime +7 |xargs rm -f
find . -type f -mtime +7 -exec rm -f {} ;
rm -f `find . -type f -mtime +7`
3.打印文件内容带行号:
造数据: echo stu{1..20}.md|xargs -n 1 > nginx.conf
cat -n nginx.conf
grep -n . nginx.conf
vim: set nu
awk '{print NR,$0}' nginx.conf
第三波测试:
1.取出文件maotai.md文件对应的权限的数字内容,如-rw-r--r--为644,要求使用命令取得644或0644.
[root@n1 ~]# stat maotai.txt |sed -nr '4s#^.(0(.)/-.*$#1#gp'
644
2.显示/tmp/下的一级目录.(不含文件和子目录)
- 显示/tmp下的文件和目录
[root@n1 ~]# tree /tmp/
/tmp/
├── 1.md
└── dir1
└── dir11
- 显示/tmp下的目录
[root@n1 ~]# tree /tmp/ -d
/tmp/
└── dir1
└── dir11
- 显示/tmp下的一级目录
[root@n1 ~]# tree -Ld 1 /tmp/
/tmp/
└── dir1
参考:
深入浅出linux三剑客之sed必杀技一例
深入浅出linux三剑客之awk必杀技一例
3.一个目录的硬链链接数是多少?
- 一个空目录的硬链接数是2
[root@n1 tmp]# mkdir dir1
[root@n1 tmp]# ls -ldi dir1/
1045209 drwxr-xr-x 2 root root 6 Mar 4 16:52 dir1/
[root@n1 tmp]# ls -ldi dir1 dir1/.
1045209 drwxr-xr-x 2 root root 6 Mar 4 16:52 dir1
1045209 drwxr-xr-x 2 root root 6 Mar 4 16:52 dir1/.
- 创建一个子目录: 硬连接变成了3
[root@n1 tmp]# mkdir dir1/dir11
[root@n1 tmp]# tree dir1/
dir1/
└── dir11
[root@n1 tmp]# ls -ldi dir1 dir1/. dir1/dir11/..
33980567 drwxr-xr-x 3 root root 19 Mar 4 16:51 dir1
33980567 drwxr-xr-x 3 root root 19 Mar 4 16:51 dir1/.
33980567 drwxr-xr-x 3 root root 19 Mar 4 16:51 dir1/dir11/.
这是因为:
1.创建的目录本身为一个硬链接
2.新木路下隐藏目录(点好)为创建的新目录的一个硬链接,也算一个链接数,因此,硬链接数是2.
3.取出ip地址
参考:
深入浅出linux三剑客之sed必杀技一例
深入浅出linux三剑客之awk必杀技一例
方法1: awk多个字符分割,打印某行的某列
[root@n1 tmp]# ifconfig eth0|awk -F '[ ]+' 'NR==2 {print $3}'
192.168.2.11
方法2:
[root@n1 tmp]# ifconfig eth0|sed -nr '2s#^.*net (.*) net.*$#1#gp'
192.168.2.11
先定位行:
sed -n '2p'
awk {NR>20&&NR<30}
在定位列
删除空行
grep -v '^$'
sed '/^$/d' 1.txt
awk '/^[^$]/' 1.txt #表示过滤非空行的开头,过滤出以非空行的行,就是过滤出非空行.
4.说出网卡和dns配置的目录
Linux系统基础网络配置老鸟精华篇
深入浅出之-route命令实战使用指南
5.查找,替换. 查找当前目录里的文件内容包含maotai的替换为maomao.
[root@n1 test]# find . -type f |xargs sed -n 's#maotai#maomao#gp'
maomao
[root@n1 test]# find . -type f -exec sed -n 's#maotai#maomao#gp' {} ;
maomao
企业生产案例: 网站被挂马了.
当网站打开时候,就会调用这个地址,显示一个广告条,造成恶劣的影响.
思路:
遍历所有文件,把以上被植入的内容删除掉.
find . -type f -exec sed -i 's###g' {} ;
find . -type f|xargs sed -i 's###g';
处理过程:
1,运营发现问题,确认情况
2,制定处理方案,先备份已有数据,然后执行命令批量修改替换
3,写解决说明,留存
4,查看问题来源
5.亡羊补牢方案(站点目录权限及上线发布思路)
从发现到解决:
1,运营人员,网站用户发现问题,网站有弹出
2,运营人员报告给开发,开发联系运维共同处理
3,开发发现的问题原因就是所有的站点目录被嵌入js代码
4,运维解决问题,a:备份原始出问题的文件 b:历史备份覆盖 c:find+sed替换
5,详细查日志,寻找发生来源
6,提供亡羊补牢方案(站点目录权限及上线发布思路)
8, 如何让echo不换行
[root@n1 test]# echo 'mao';echo 'tai'
mao
tai
[root@n1 test]# echo -n 'mao';echo 'tai'
maotai
[root@n1 test]# echo -ne 'mao ';echo 'tai'
mao tai
[root@n1 test]# echo -e 'mao
tai'
mao
tai
9,修改时间,打包带时间
date -s "2019/03/04 18:33"
[root@n1 test]# date +%Y-%m-%d
2018-03-04
[root@n1 test]# date +%F
2018-03-04
[root@n1 test]# date +%w
0
[root@n1 test]# date +%Y-%m-%d %H:%M:%S
2018-03-04 18:35:10
[root@n1 test]# date +%F %X
2018-03-04 06:35:48 PM
打包带时间:
tar zvcf test_$(date +%F).tar.gz /tmp/
tar zvcf test_$(date +%F -d "-1day").tar.gz /tmp/
前一天
[root@n1 test]# date +%F -d "-1day"
2018-03-03
[root@n1 test]# date +%F -d "+24Hour"
2018-03-05