正则表达式

什么是正则表达式?

正则表达式是一组由字母和符号组成的特殊文本, 它可以用来从文本中找出满足你想要的格式的句子.

一个正则表达式是在一个主体字符串中从左到右匹配字符串时的一种样式.
例如"Regular expression"是一个完整的句子, 但我们常使用缩写的术语"regex"或"regexp".
正则表达式可以用来替换文本中的字符串,验证形式,提取字符串等等.

想象你正在写一个应用, 然后你想设定一个用户命名的规则, 让用户名包含字符,数字,下划线和连字符,以及限制字符的个数,好让名字看起来没那么丑.
我们使用以下正则表达式来验证一个用户名:

以上的正则表达式可以接受 john_doe, jo-hn_doe, john12_as.
但不匹配Jo, 因为它包含了大写的字母而且太短了.

1. 基本匹配

正则表达式其实就是在执行搜索时的格式, 它由一些字母和数字组合而成.
例如: 一个正则表达式 the, 它表示一个规则: 由字母t开始,接着是h,再接着是e.

"the" => The fat cat sat on the mat.

在线练习

正则表达式123匹配字符串123. 它逐个字符的与输入的正则表达式做比较.

正则表达式是大小写敏感的, 所以The不会匹配the.

"The" => The fat cat sat on the mat.

在线练习

2. 元字符

正则表达式主要依赖于元字符.
元字符不代表他们本身的字面意思, 他们都有特殊的含义. 一些元字符写在方括号中的时候有一些特殊的意思. 以下是一些元字符的介绍:

元字符	描述
.	句号匹配任意单个字符除了换行符.
[ ]	字符种类. 匹配方括号内的任意字符.
[^ ]	否定的字符种类. 匹配除了方括号里的任意字符
*	匹配>=0个重复的在*号之前的字符.
+	匹配>1个重复的+号前的字符.
?	标记?之前的字符为可选.
{n,m}	匹配num个中括号之前的字符 (n <= num <= m).
(xyz)	字符集, 匹配与 xyz 完全相等的字符串.
\|	或运算符,匹配符号前或后的字符.
	转义字符,用于匹配一些保留的字符 `[ ] ( ) { } . * + ? ^ $ \|`
^	从开始行开始匹配.
$	从末端开始匹配.

2.1 点运算符 `.`

.是元字符中最简单的例子.
.匹配任意单个字符, 但不匹配换行符.
例如, 表达式.ar匹配一个任意字符后面跟着是a和r的字符串.

".ar" => The car parked in the garage.

在线练习

2.2 字符集

字符集也叫做字符类.
方括号用来指定一个字符集.
在方括号中使用连字符来指定字符集的范围.
在方括号中的字符集不关心顺序.
例如, 表达式[Tt]he 匹配 the 和 The.

"[Tt]he" => The car parked in the garage.

在线练习

方括号的句号就表示句号.
表达式 ar[.] 匹配 ar.字符串

"ar[.]" => A garage is a good place to park a car.

在线练习

2.2.1 否定字符集

一般来说 ^ 表示一个字符串的开头, 但它用在一个方括号的开头的时候, 它表示这个字符集是否定的.
例如, 表达式[^c]ar 匹配一个后面跟着ar的除了c的任意字符.

"[^c]ar" => The car parked in the garage.

在线练习

2.3 重复次数

后面跟着元字符 +, * or ? 的, 用来指定匹配子模式的次数.
这些元字符在不同的情况下有着不同的意思.

2.3.1 `*` 号

*号匹配在*之前的字符出现大于等于0次.
例如, 表达式 a* 匹配以0或更多个a开头的字符, 因为有0个这个条件, 其实也就匹配了所有的字符. 表达式[a-z]* 匹配一个行中所有以小写字母开头的字符串.

"[a-z]*" => The car parked in the garage #21.

在线练习

*字符和.字符搭配可以匹配所有的字符.*.
*和表示匹配空格的符号s连起来用, 如表达式s*cats*匹配0或更多个空格开头和0或更多个空格结尾的cat字符串.

"s*cats*" => The fat cat sat on the concatenation.

在线练习

2.3.2 `+` 号

+号匹配+号之前的字符出现 >=1 次个字符.
例如表达式c.+t 匹配以首字母c开头以t结尾,中间跟着任意个字符的字符串.

"c.+t" => The fat cat sat on the mat.

在线练习

2.3.3 `?` 号

在正则表达式中元字符 ? 标记在符号前面的字符为可选, 即出现 0 或 1 次.
例如, 表达式 [T]?he 匹配字符串 he 和 The.

"[T]he" => The car is parked in the garage.

在线练习

"[T]?he" => The car is parked in the garage.

在线练习

2.4 `{}` 号

在正则表达式中 {} 是一个量词, 常用来一个或一组字符可以重复出现的次数.
例如, 表达式 [0-9]{2,3} 匹配 2~3 位 0~9 的数字.

"[0-9]{2,3}" => The number was 9.9997 but we rounded it off to 10.0.

在线练习

我们可以省略第二个参数.
例如, [0-9]{2,} 匹配至少两位 0~9 的数字.

如果逗号也省略掉则表示重复固定的次数.
例如, [0-9]{3} 匹配3位数字

"[0-9]{2,}" => The number was 9.9997 but we rounded it off to 10.0.

在线练习

"[0-9]{3}" => The number was 9.9997 but we rounded it off to 10.0.

在线练习

2.5 `(...)` 分组(特征标群)

特征标群是一组写在 (...) 中的子模式. 例如之前说的 {} 是用来表示前面一个字符出现指定次数. 但如果在 {} 前加入特征标群则表示整个标群内的字符重复 N 次. 例如, 表达式 (ab)* 匹配连续出现 0 或更多个 ab.

我们还可以在 () 中用或字符 | 表示或. 例如, (c|g|p)ar 匹配 car 或 gar 或 par.

"(c|g|p)ar" => The car is parked in the garage.

在线练习

特征标群也可以称为分组，它的意义在于可以提取一些子串

# 这里通过分组提取出a标签中间的文字
>>> s='<div>**<a href="https://support.google.com/chrome/?p=ui_hotword_search" target="_blank">**更多**</a>**<p>dfsl</p></div>'
# .可以匹配除了换行符的任意单个字符，*表示它之前的字符出现次数可以是大于等于0次，因此.*相当于匹配a之后的任意字符
>>> print(re.search(r'<a.*>(.*)</a>',s).group(1))
更多

捕获分组与非捕获分组

捕获组(Capturing Groups)：当一个正则表达式用一对小括号包起来的时候，就形成了一个捕获组，它会把括号里面的正则表达式匹配到的内容保存到该分组里面，也就是说，它捕获的就是分组里面的正则表达式匹配到的内容。
非捕获组(Non-Capturing Groups)：有时候不引用子表达式的匹配结果，不想捕捉匹配结果，只是把小括号作为一个整体来匹配。非捕获组的语法是在捕获组的基础上，在左括号的右侧加上?:就可以了，那就是( ?: )。例如，(d)表示捕获组，而(?:d)表示非捕获组。既然是非捕获组，那它就不会把正则匹配到的内容保存到分组里面

# 捕获组与非捕获组的区别
# 注意这里利用到了findall函数，它的特点是在正则匹配里，如果有分组，就仅仅匹配分组里面的内容，然后返回这个组的列表; 如果有多个分组，那就把每一个分组看成一个单位，组合为一个元组，然后返回一个含有多个元组的列表

>>> re.findall(r'd(.d)+', '1.2.3 and 1.2.4')
['.3', '.4']

>>> re.findall(r'd(?:.d)+', '1.2.3 and 1.2.4')
['1.2.3', '1.2.4']

参考资料

后向引用

使用后向引用则分组必须为捕获组，否则引用是无意义的
()表示分组，我们可以将其中的内容当做一个整体，整体匹配模式串就是一个大的分组
1 表示引用整个表达式中第1个分组中的正则匹配到的结果
2 表示引用整个表达式中第2个分组中的正则匹配到的结果

# 这里利用到findall方法，它的特点是在正则匹配里，如果有分组，就仅仅匹配分组里面的内容，然后返回这个组的列表; 如果有多个分组，那就把每一个分组看成一个单位，组合为一个元组，然后返回一个含有多个元组的列表

# ”ABAB”型字符串，它只会提取分组中的那2个字符AB，并不会把ABAB全部提取出来
>>> re.findall(r'(ww)1', 'abab cdcd efek')
['ab', 'cd']
# AABB”型字符串
>>> re.findall(r'(w)1(w)2', 'abab cdcd xxyy')
[('x', 'y')]

自定义名称分组的后向引用

分组方式：(?Pexpression)
后向引用方式:(?P=myname)

>>> re.findall(r'(?P<my_group1>w+)s+(?P=my_group1)', 'ab ab')
['ab']

参考资料1
参考资料2

2.6 `|` 或运算符

或运算符就表示或, 用作判断条件.

例如 (T|t)he|car 匹配 (T|t)he 或 car.

"(T|t)he|car" => The car is parked in the garage.

在线练习

2.7 转码特殊字符

反斜线在表达式中用于转码紧跟其后的字符. 用于指定 { } [ ] / + * . $ ^ | ? 这些特殊字符. 如果想要匹配这些特殊字符则要在其前面加上反斜线 .

例如 . 是用来匹配除换行符外的所有字符的. 如果想要匹配句子中的 . 则要写成 ..

"(f|c|m)at.?" => The fat cat sat on the mat.

在线练习

2.8 锚点

在正则表达式中, 想要匹配指定开头或结尾的字符串就要使用到锚点. ^ 指定开头, $ 指定结尾.

2.8.1 `^` 号

^ 用来检查匹配的字符串是否在所匹配字符串的开头.

例如, 在 abc 中使用表达式 ^a 会得到结果 a. 但如果使用 ^b 将匹配不到任何结果. 应为在字符串 abc 中并不是以 b 开头.

例如, ^(T|t)he 匹配以 The 或 the 开头的字符串.

"(T|t)he" => The car is parked in the garage.

在线练习

"^(T|t)he" => The car is parked in the garage.

在线练习

2.8.2 `$` 号

同理于 ^ 号, $ 号用来匹配字符是否是最后一个.

例如, (at.)$ 匹配以 at. 结尾的字符串.

"(at.)" => The fat cat. sat. on the mat.

在线练习

"(at.)$" => The fat cat. sat. on the mat.

在线练习

3. 简写字符集

正则表达式提供一些常用的字符集简写. 如下:

简写	描述
.	除换行符外的所有字符
w	匹配所有字母数字, 等同于 `[a-zA-Z0-9_]`
W	匹配所有非字母数字, 即符号, 等同于: `[^w]`
d	匹配数字: `[0-9]`
D	匹配非数字: `[^d]`
s	匹配所有空格字符, 等同于: `[ f p{Z}]`
S	匹配所有非空格字符: `[^s]`

4. 前后关联约束(前后预查)

前置约束和后置约束都属于非捕获簇(用于匹配不在匹配列表中的格式).
前置约束用于判断所匹配的格式是否在另一个确定的格式之后.

例如, 我们想要获得所有跟在 $ 符号后的数字, 我们可以使用正向向后约束 (?<=$)[0-9.]*.
这个表达式匹配 $ 开头, 之后跟着 0,1,2,3,4,5,6,7,8,9,. 这些字符可以出现大于等于 0 次.

前后关联约束如下:

符号	描述
?=	前置约束-存在
?!	前置约束-排除
?<=	后置约束-存在
?<!	后置约束-排除

4.1 `?=...` 前置约束(存在)

?=... 前置约束(存在), 表示第一部分表达式必须跟在 ?=...定义的表达式之后.

返回结果只瞒住第一部分表达式.
定义一个前置约束(存在)要使用 (). 在括号内部使用一个问号和等号: (?=...).

前置约束的内容写在括号中的等号后面.
例如, 表达式 [T|t]he(?=sfat) 匹配 The 和 the, 在括号中我们又定义了前置约束(存在) (?=sfat) ,即 The 和 the 后面紧跟着 (空格)fat.

"[T|t]he(?=sfat)" => The fat cat sat on the mat.

在线练习

4.2 `?!...` 前置约束-排除

前置约束-排除 ?! 用于筛选所有匹配结果, 筛选条件为其后不跟随着定义的格式
前置约束-排除 定义和 前置约束(存在) 一样, 区别就是 = 替换成 ! 也就是 (?!...).

表达式 [T|t]he(?!sfat) 匹配 The 和 the, 且其后不跟着 (空格)fat.

"[T|t]he(?!sfat)" => The fat cat sat on the mat.

在线练习

4.3 `?<= ...` 后置约束-存在

后置约束-存在记作(?<=...) 用于筛选所有匹配结果, 筛选条件为其前跟随着定义的格式.
例如, 表达式 (?<=[T|t]hes)(fat|mat) 匹配 fat 和 mat, 且其前跟着 The 或 the.

"(?<=[T|t]hes)(fat|mat)" => The fat cat sat on the mat.

在线练习

4.4 `?<!...` 后置约束-排除

后置约束-排除记作 (?<!...) 用于筛选所有匹配结果, 筛选条件为其前不跟着定义的格式.
例如, 表达式 (?<!(T|t)hes)(cat) 匹配 cat, 且其前不跟着 The 或 the.

"(?<![T|t]hes)(cat)" => The cat sat on cat.

在线练习

5. 标志

标志也叫修饰语, 因为它可以用来修改表达式的搜索结果.
这些标志可以任意的组合使用, 它也是整个正则表达式的一部分.

标志	描述
i	忽略大小写.
g	全局搜索.
m	多行的: 锚点元字符 `^` `$` 工作范围在每行的起始.

5.1 忽略大小写 (Case Insensitive)

修饰语 i 用于忽略大小写.
例如, 表达式 /The/gi 表示在全局搜索 The, 在后面的 i 将其条件修改为忽略大小写, 则变成搜索 the 和 The, g 表示全局搜索.

"The" => The fat cat sat on the mat.

在线练习

"/The/gi" => The fat cat sat on the mat.

在线练习

5.2 全局搜索 (Global search)

修饰符 g 常用于执行一个全局搜索匹配, 即(不仅仅返回第一个匹配的, 而是返回全部).
例如, 表达式 /.(at)/g 表示搜索任意字符(除了换行) + at, 并返回全部结果.

"/.(at)/" => The fat cat sat on the mat.

在线练习

"/.(at)/g" => The fat cat sat on the mat.

在线练习

5.3 多行修饰符 (Multiline)

多行修饰符 m 常用于执行一个多行匹配.

像之前介绍的 (^,$) 用于检查格式是否是在待检测字符串的开头或结尾. 但我们如果想要它在每行的开头和结尾生效, 我们需要用到多行修饰符 m.

例如, 表达式 /at(.)?$/gm 表示在待检测字符串每行的末尾搜索 at后跟一个或多个 . 的字符串, 并返回全部结果.

"/.at(.)?$/" => The fat
                cat sat
                on the mat.

在线练习

"/.at(.)?$/gm" => The fat
                  cat sat
                  on the mat.

在线练习

额外补充

正整数: ^d+$
负整数: ^-d+$
手机国家号: ^+?[ds]{3,}$
手机号: ^+?[ds]+(?[ds]{10,}$
整数: ^-?d+$
用户名: ^[wd_.]{4,16}$
数字和英文字母: ^[a-zA-Z0-9]*$
数字和应为字母和空格: ^[a-zA-Z0-9 ]*$
密码: ^(?=^.{6,}$)((?=.*[A-Za-z0-9])(?=.*[A-Z])(?=.*[a-z]))^.*$
邮箱: ^([a-zA-Z0-9._%-]+@[a-zA-Z0-9.-]+.[a-zA-Z]{2,4})*$
IP4 地址: ^((?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?))*$
纯小写字母: ^([a-z])*$
纯大写字母: ^([A-Z])*$
URL: ^(((http|https|ftp)://)?([[a-zA-Z0-9]-.])+(.)([[a-zA-Z0-9]]){2,4}([[a-zA-Z0-9]/+=%&_.~?-]*))*$
VISA 信用卡号: ^(4[0-9]{12}(?:[0-9]{3})?)*$
日期 (MM/DD/YYYY): ^(0?[1-9]|1[012])[- /.](0?[1-9]|[12][0-9]|3[01])[- /.](19|20)?[0-9]{2}$
日期 (YYYY/MM/DD): ^(19|20)?[0-9]{2}[- /.](0?[1-9]|1[012])[- /.](0?[1-9]|[12][0-9]|3[01])$
MasterCard 信用卡号: ^(5[1-5][0-9]{14})*$

正则表达式的三种模式

贪婪模式

贪婪模式采用的是回溯的搜索机制

正则表达式ab{1,3}c 在匹配abc时就会发生回溯

1~2步应该都好理解，但是为什么在第3步开始，虽然已经文本中已经有一个b匹配了b{1,3}，后面还会拉着字母c跟b{1,3}做比较呢？这个就是我们下面将要提到的正则的贪婪特性，也就是说b{1,3}会竭尽所能的匹配最多的字符。在这个地方我们先知道它一直要匹配到撞上南墙为止。在这种情况下，第3步发生不匹配之后，整个匹配流程并没有走完，而是像栈一样，将字符c吐出来，然后去用正则表达式中的c去和文本中的c进行匹配。这样就发生了一次回溯

下面的几个特殊字符相信大家都知道它们的用法：
i. ?: 告诉引擎匹配前导字符0次或一次。事实上是表示前导字符是可选的。
ii. +: 告诉引擎匹配前导字符1次或多次。
iii. *: 告诉引擎匹配前导字符0次或多次。
iv. {min, max}: 告诉引擎匹配前导字符min次到max次。min和max都是非负整数。如果有逗号而max被省略了，则表示max没有限制；如果逗号和max都被省略了，则表示重复min次。

默认情况下，这个几个特殊字符都是贪婪的，也就是说，它会根据前导字符去匹配尽可能多的内容。

懒惰模式

在以上几个特殊字符后加上一个问号（？）则可以开启懒惰模式，在该模式下，正则引擎尽可能少的重复匹配字符，匹配成功之后它会继续匹配剩余的字符串。在上例中，如果将正则换为ab{1,3}?c,则匹配过程变成了下面这样（橙色为匹配，黄色为不匹配）

由此可见，在非贪婪模式下，第2步正则中的b{1,3}?与文本b匹配之后，接着去用c与文本中的c进行匹配，而未发生回溯

独占模式

如果在以上四种表达式后加上一个加号（+），则会开启独占模式。同贪婪模式一样，独占模式一样会匹配最长。不过在独占模式下，正则表达式尽可能长地去匹配字符串，一旦匹配不成功就会结束匹配而不会回溯。我们以ab{1,3}+bc 为例
如果我们用文本"abbc"去匹配上面的表达式，匹配的过程如下图所示（橙色为匹配，黄色为不匹配），

可以发现，在第2和第3步，b{1,3}+会将文本中的2个字母b都匹配上，结果文本中只剩下一个字母c。那么在第4步时，正则中的b和文本中的c进行匹配，当无法匹配时，并不进行回溯，这时候整个文本就无法和正则表达式发生匹配。如果将正则表达式中的加号（+）去掉，那么这个文本整体就是匹配的了。

以上三种模式的表达式如下：

贪婪	懒惰	独占
X?	X??	X?+
X*	X*?	X*+
X+	X+?	X++
X{n}	X{n}?	X{n}+
X{n,}	X{n,}?	X{n,}+
X{n,m}	X{n,m}?	X{n,m}+

原理

正则表达式

什么是正则表达式?

1. 基本匹配

2. 元字符

2.1 点运算符 .

2.2 字符集

2.2.1 否定字符集

2.3 重复次数

2.3.1 * 号

2.3.2 + 号

2.3.3 ? 号

2.4 {} 号

2.5 (...) 分组(特征标群)

捕获分组与非捕获分组

后向引用

自定义名称分组的后向引用

2.6 | 或运算符

2.7 转码特殊字符

2.8 锚点

2.8.1 ^ 号

2.8.2 $ 号

3. 简写字符集

4. 前后关联约束(前后预查)

4.1 ?=... 前置约束(存在)

4.2 ?!... 前置约束-排除

4.3 ?<= ... 后置约束-存在

4.4 ?<!... 后置约束-排除

5. 标志

5.1 忽略大小写 (Case Insensitive)

5.2 全局搜索 (Global search)

5.3 多行修饰符 (Multiline)

额外补充

正则表达式的三种模式

贪婪模式

懒惰模式

独占模式

2.1 点运算符 `.`

2.3.1 `*` 号

2.3.2 `+` 号

2.3.3 `?` 号

2.4 `{}` 号

2.5 `(...)` 分组(特征标群)

2.6 `|` 或运算符

2.8.1 `^` 号

2.8.2 `$` 号

4.1 `?=...` 前置约束(存在)

4.2 `?!...` 前置约束-排除

4.3 `?<= ...` 后置约束-存在

4.4 `?<!...` 后置约束-排除