正则表达式

第5章 正则表达式
知识要点
select工具
通配符
grep命令
基础正则表达式
扩展正则表达式
shell中特殊字符总结
作用：匹配文本
select工具
select是bash自带的字符菜单工具
不需要echo命令就可以自动列出菜单
不需要read命令就可以读取变量的值
不需要赋值命令就可以自动赋值给变量
基本语法

PS3="select的提示符"
select variable in list
do
    commands
done
select脚本示例
select配置case语句实现字符菜单
PS3=“请输入选项: "      #select的提示符
select number in “自动安装LAMP论坛” “自动卸载LAMP论坛” “退出菜单"
do
case $number in
“自动安装LAMP论坛”)
 install;;
“自动卸载LAMP论坛”)
    uninstall;;
“退出菜单")
 break;;
*)
 echo -e "
"
 echo “不好意思没有这个选项";;
esac
done
clear
通配符
通配符（globbing）
最常用的通配符包括：?、*、[]、{}、^等，通配符与正则表达式中的元字符意义不完全相同
  • * 匹配0个或者多个字符（任意数目）
  • ？ 匹配1个字符
  • […] 匹配范围内任意1个字符 [az]、[a-z]、[a-z]
  • [^…] 匹配范围外任意1个字符，表示取反
  • {} 组合匹配，touch a{1,3,5} touch b{1..10} touch {a,b,c}_{1,2,3}
搜索文本：grep
grep通用正则表达式分析程序（global search regular expression and printing）
  • 用途：使用正则表达式搜索文本，并把匹配的行打印出来
  • 格式：grep [选项]... 模式 目标文件
  • -v： 反转查找，输出与模式不相符的行
  • -An：同时显示符合条件行的下面n行
  • -Bn：同时显示符合条件行的上面n行
  • -Cn：同时显示符合条件行的上面和下面n行
  • -E： 支持扩展正则表达式
  • -o： 仅显示匹配模式的字符串
  • -f： 根据文件内容进行匹配
Linux系统支持三种形式的grep命令，通常将这三种形式的grep命令称为grep命令族，这三种形式具体为
  • ls /bin/*grep
  • fgrep：不支持正则表达式，快速搜索简单模式，按照字符串的字面意思进行匹配吗，相当于grep -F
  • grep：可以使用基本正则表达式搜索
  • egrep：可以使用基本和扩展正则表达式搜索，相当于grep -E
正则表达式介绍
正则表达式是一个指定文本模式的标准Unix 语法
  • 使用特殊元字符实现复杂的搜索问题
  • 元字符（metacharacters）是用来阐释字符表达式意义的字符，简言之，元字符就是描述字符的字符，它用于对字符表达式的内容、转换及各种操作信息进行描述。
正则表达式是由一串字符和元字符构成的字符串，简称RE（Regular Expression）
基本正则表达式和Unix兼容
扩展正则表达式增加了一些新的元字符
正则表达式由下列元素构成
普通字符，a、b 、1、2
通配符，与文件名通配符不是一回事
修饰符：”*”、”?”等
锚点：以什么开头、以什么结尾
通配符
  • “.”：表示一定有一个任意字符
a…b表示什么意思？(ab之间有三个字符，例如:a123b)
  • 方括号表达式：一个文字字符域
[abc]表示什么意思？(多选一)
[^abc]表示什么意思？（非 取反）
[0-9]、[a-z]、[A-Z]
  • 域表达式和字符类
    • 考虑到不同的编码方案推荐使用字符类方式
[:alnum:]－字母数字混排
[:digit:]－数字
[:lower:]－小写字母
[:upper:]－大写字母
[:space:] －空白字符，空格、TAB、换行符等
[:alpha:]-字母
通用修饰符
  • “？”：表示0个或者1个前面的字符（扩展）
ab?c表示什么意思？（ac之间最多一个b 例如：ac，abc）
  • “*”：表示0个或者多个前面的字符
ab*c表示什么意思？（ac之间0个或者多个b，例如）
  • “+”：表示1个或者多个前面的字符（扩展）
ab+c表示什么意思？（ac之间最少一个b）
  • ｛n｝：表示n个前面的字符
ab{2}c表示什么意思？（abbc，d的个数确定）
  • ｛n，m｝：表示n个到m个前面的字符，{4，}最少四个{，100}最多100个
ab{2,4}c表示什么意思？
.*表示什么意思？
锚点搜索
“^”：表示以什么开头行
^#表示什么意思？
grep -v ‘^#’ /etc/inittab | grep –v ^$
egrep ‘^[^[:digit:]]’ /ec/inittab 以非数字开头
“$”：表示以什么结尾的行
bash$表示什么意思？
egrep ':$' /etc/inittab
egrep ‘^hello$' file
<：表示词首部
>：表示词尾部
< abc>：表示abc这个单词
egrep ‘<pig>' /usr/share/dict/words
扩展正则表达式
egrep、awk和Perl等Linux工具还支持正则表达式扩展出来的一些元字符，这些元字符如下表所示
符号
意义
?
匹配0个或1个在其之前的那个普通字符
+
匹配1个或多个在其之前的那个普通字符
()
表示一个字符集合
|
表示“或”意义，匹配一组可选的字符
扩展正则表达式介绍
正则表达式分组
“？”、”*”、”+”默认只能修饰前面一个字符
利用圆括号()可以实现多个字符分组
f(oo)*表示什么意思
在圆括号中利用”|”实现或者的功能
(oo|ee){2}表示什么意思
转义元字符
egrep ‘cat.' /etc/aa
egrep ‘cat.' /etc/aa
正则表达式和通配符
正则表达式与通配符匹配的区别
    • 正则表达式只在少数搜索和替换文本命令中使用
    • 文件名匹配在bash中匹配文件名
    • 都使用”*”、”?”但意义不一样
    • 正则表达式元字符要放在引号内，避免bash Shell解释
疑难问题
匹配email地址
egrep "[0-Z._]+@[0-Z]+.[a-Z]{2,3}"
匹配HTTP URL
egrep "http://[a-Z0-9.]+.[a-Z]{2,3}"
egrep "http://[[:alnum:].]+.[[:alpha:]]{2,3}"
shell中的特殊字符
：冒号
内置的空命令，返回值为0
；分号
连续运行命令
| 管道
前面命令的标准输出作为后面命令的标准输入
正则中表示或者
&
将命令放到后台执行
表示标准输出和标准错误输出
&&
前面命令返回值为0才执行后面的命令
||
前面命令返回值为非0才执行后面的命令
# 井号
表示注释
? 问号
通配符中表示任意1个字符
正则表达式中表示0个或者1个前面的字符
* 星号
通配符中表示0个到多个任意字符
正则表达式中表示0个或者多个前面的字符
算术运算中的乘法
！惊叹号
将命令或者条件表达式的返回值取反
执行历史命令
vi或者ftp中执行外部shell命令
间接引用变量
$ 美元符号
取变量的值
正则表达式表示行尾
反斜杠
单字符转义
> 大于号
输出重定向
条件测试中的大于号
< 小于号
输入重定向
条件测试中的小于号
= 等号
变量赋值
条件测试中的等号
+ 加号
算术运算中的加号
正则表达式中1个或多个前面的字符
>>
输出重定向追加
<<
here document
- 减号
算术运算中的减号
命令的选项
上一次工作目录
通配符和正则表达式中表示范围[a-z]
tar -cvf - /home | tar -xvf - 表示输出流或输入流
‘’ 单引号
解决变量赋值空格的问题
阻止shell替换
“” 双引号
解决变量赋值空格的问题
阻止shell部分字符替换，对$、！等无效
·· 反引号$()
命令行替换
% 百分号
算术运算中的模运算
vi中替换操作中表示所有行
() 单圆括号
子shell中执行命令，会继承父shell的变量
括起数组元素
(()) 双圆括号
算术运算
整数比较测试
[] 单方括号
通配符和正则中表示匹配括号中的任意一个字符
条件测试表达式
数组中下标括号
[[]] 双方括号
字符串比较测试
. 句点号
正则中表示任意1个字符
当前shell执行脚本命令
表示当前目录
{} 大括号
通配符扩展 abc{1,2,3}
正则表达式中表示范围
匿名函数{cmd1；cmd2；cmd3} &> /dev/null
括起变量名${abc}a
/ 正斜杠
算术运算中的除法
根目录或路径分割符
^
在[^abc]通配符中表示取反
在正则表达式中表示以什么开头
expect
自动交互的方法：
1、查看命令，看看有没有选项用来实现自动交互的。
[root@S1 ~]# echo "123" | passwd --stdin u1
Changing password for user u1.
passwd: all authentication tokens updated successfully.
2、输入重定向
passwd u1 < /tmp/p.txt
Changing password for user u1.
New password: BAD PASSWORD: it is WAY too short
BAD PASSWORD: is too simple
Retype new password: passwd: all authentication tokens updated successfully.
3、here document
[root@S1 ~]# passwd u1 << eof
> 123
> 123
> eof
Changing password for user u1.
New password: BAD PASSWORD: it is WAY too short
BAD PASSWORD: is too simple
Retype new password: passwd: all authentication tokens updated successfully.
4、用expect来实现
安装expect
[root@S1 Packages]# rpm -ivh expect-5.44.1.15-5.el6_4.x86_64.rpm tcl-devel-8.5.7-6.el6.x86_64.rpm tcl-8.5.7-6.el6.x86_64.rpm
warning: expect-5.44.1.15-5.el6_4.x86_64.rpm: Header V3 RSA/SHA1 Signature, key ID c105b9de: NOKEY
Preparing...                ########################################### [100%]
   1:tcl                    ########################################### [ 33%]
   2:expect                 ########################################### [ 67%]
   3:tcl-devel              ########################################### [100%]
expect 完成自动交互的任务
[root@mysqlserver01 scripts]# rpm -qa | grep "expect"
expect-5.44.1.15-5.el6_4.x86_64
expect内部命令：
spawn: 后面加上需要执行的shell命令，比如说spawn ssh root@172.16.1.1
expect: 只有spawn 执行的命令结果才会被expect 捕捉到，因为spawn 会启
动一个进程，只有这个进程的相关信息才会被捕捉到。
send：send 会将expect 脚本中需要的信息发送给spawn 启动的那个进程
send_user: 只在屏幕显示，不送给spawn 启动的那个进程，相当于echo
定义变量：
set
例如：
set passwd "mypasswd"
set timeout 60
$argc 参数个数 相当于bash的$#
$argv 数组，存放所有参数 类似于bash的$@
如果需要在shell脚本中嵌套expect代码，就要使用expect -c "expect代码"
例如：
expect -c "
spawn ssh $user_name@$ip_addr df -P
expect {
"*(yes/no)?" {send "yes " ; exp_continue}
"*password:" {send "$user_pwd " ; exp_continue}
}
"
##################################################
#!/usr/bin/expect
set timeout 60
set ip_addr [lindex $argv 0]
set username [lindex $argv 1]
set user_pwd [lindex $argv 2]
set cmd_line [lindex $argv 3]
if {$argc != 4} {
send_user "usage: ./auto_login ip username password command "
exit
}
spawn ssh $username@$ip_addr $cmd_line
expect {
"(yes/no)?" {
send "yes "
exp_continue
}
"password:" {
send "$user_pwd "
exp_continue
}
}
总结：
自动交互的方法：
1、查找帮助，看有没有选项实现自动交互
2、用输入重定向能不能实现
3、用here document能不能实现
4、用expect能不能实现
案例
实验案例1
显示文件中的所有A类地址。
egrep --color ‘^([1-9]|[1-9][0-9]|1[01][0-9]|12[0-6])(.([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])){3}$ ' file
显示文件中的所有B类地址。
egrep --color ' ^(12[89]|1[3-8][0-9]|19[01])(.([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])){3}$ ' file
显示文件中的所有C类地址。
egrep --color ' ^(19[2-9]|2[01][0-9]|22[0-3])(.([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])){3}$’ file
实验案例2
编写判断IP地址是否合法的脚本
有一个ip地址列表的文件
要求判断文件中的ip地址是否是合法的ipv4地址
只显示出文件中合法的ip地址
[root@localhost test]# bash test.sh
文件中合法的ip地址如下所示
1.168.1.16
223.10.10.1
192.168.100.19
1.18.1.20
20.20.20.20
实验案例3
编写脚本实现显示当前主机eth接口的有效IP和有效网关，要求显示结果如下图所示（多使用正则表达式，少用cut和tr）
实验案例4
编写修改IP脚本，要求如下：
输入当前IP
输入新IP和子网掩码
校验IP的合法性
立即生效和永久生效
修改失败要恢复原IP
不使用sed

【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/qluzzh/p/10322537.html