-
正则表达式（Regular Expession）
-
定义：顾名思义，正则表达式就是一种按规则表达的一种方式，其通过字符组[ ]的形式来通过其中的规则来匹配相应的字符串，进而达到按条件筛选取值的作用。
-
正则表达式在Python爬虫领域应用极其广泛，同样也对其他编程语言有着重要意义。
-
使用方法
- 由具体数字和字母组成的字符组
-
正则 待匹配字符匹配结果 说明 [0123456789] 6 True 在一个字符组里枚举合法的所有字符，字符组里的任意一个字符
和"待匹配字符"相同都视为可以匹配[0123456789] x False 由于字符组中没有"a"字符，所以不能匹配[0-9] 3 True 也可以用-表示范围,[0-9]就和[0123456789]是一个意思[a-z] b True 用匹配待匹配字符串中有无小写字母 [A-Z] Y True 匹配所有的大写字母
[0-9a-fA-F] d True 可以匹配数字和大小写的a-f,一般用来验证十六进制
- 以下划线与其他符号的组合组成的字符
元字符 匹配内容 . 匹配除换行符之外的任意字符 w 匹配字母或者数字或者下划线 s 匹配任意的空白符 d 匹配数字 匹配一个换行符 匹配一个制表符 匹配一个单词的结尾 ^ 匹配一个字符串的开始 $ 匹配字符串的结尾 W 匹配非字母或数字或下划线 S
匹配非空白符 D 匹配非数字 a|b 匹配字母a或者字母b （） 匹配括号内的表达式，也表示一个组 [...] 匹配字符组中的字符 [^...] 匹配除字符组中的字符
- 量词
-
量词 用法说明 * 重复零次或多次 + 重复依次或者多次 ？ 重复一次或者多次 {n} 重复n次 {n,} 重复n次或者更多次 {n,m} 重复n次到m次 -
转义符
- 在python中，无论是正则表达式，还是待匹配的内容，都是以字符串的形式出现的，在字符串中也有特殊的含义，本身还需要转义。所以如果匹配一次" ",字符串中要写成'\n'，那么正则里就要写成"\\n",这样就太麻烦了。这个时候我们就用到了r'\ n'这个概念，此时的正则是r'\n'就可以了。
-
贪婪匹配
- 满足正则表达式的匹配条件时，尽可能匹配尽量多的字符串。
- 几个常用的pattern
*? 重复任意次，但尽可能少重复 +? 重复1次或更多次，但尽可能少重复 ?? 重复0次或1次，但尽可能少重复 {n,m}? 重复n到m次，但尽可能少重复 {n,}? 重复n次以上，但尽可能少重复
-
.*?的用法
-
. 是任意字符 * 是取 0 至 无限长度 ? 是非贪婪模式。 何在一起就是 取尽量少的任意字符，一般不会这么单独写，他大多用在： .*?x 就是取前面任意长度的字符，直到一个x出现
-
re模块下的常用方法
-
import re ret = re.findall('a', 'eva egon yuan') # 返回所有满足匹配条件的结果,放在列表里 print(ret) #结果 : ['a', 'a'] ret = re.search('a', 'eva egon yuan').group() print(ret) #结果 : 'a' # 函数会在字符串内查找模式匹配,只到找到第一个匹配然后返回一个包含匹配信息的对象,该对象可以 # 通过调用group()方法得到匹配的字符串,如果字符串没有匹配，则返回None。 ret = re.match('a', 'abc').group() # 同search,不过尽在字符串开始处进行匹配 print(ret) #结果 : 'a' ret = re.split('[ab]', 'abcd') # 先按'a'分割得到''和'bcd',在对''和'bcd'分别按'b'分割 print(ret) # ['', '', 'cd'] ret = re.sub('d', 'H', 'eva3egon4yuan4', 1)#将数字替换成'H'，参数1表示只替换1个 print(ret) #evaHegon4yuan4 ret = re.subn('d', 'H', 'eva3egon4yuan4')#将数字替换成'H'，返回元组(替换的结果,替换了多少次) print(ret) obj = re.compile('d{3}') #将正则表达式编译成为一个 正则表达式对象，规则要匹配的是3个数字 ret = obj.search('abc123eeee') #正则表达式对象调用search，参数为待匹配的字符串 print(ret.group()) #结果 ： 123 import re ret = re.finditer('d', 'ds3sy4784a') #finditer返回一个存放匹配结果的迭代器 print(ret) # <callable_iterator object at 0x10195f940> print(next(ret).group()) #查看第一个结果 print(next(ret).group()) #查看第二个结果 print([i.group() for i in ret]) #查看剩余的左右结果
-
findall优先级查询
-
import re ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com') print(ret) # ['oldboy'] 这是因为findall会优先把匹配结果组里内容返回,如果想要匹配结果,取消权限即可 ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com') print(ret) # ['www.oldboy.com']
-
split优先级查询
-
ret=re.split("d+","eva3egon4yuan") print(ret) #结果 ： ['eva', 'egon', 'yuan'] ret=re.split("(d+)","eva3egon4yuan") print(ret) #结果 ： ['eva', '3', 'egon', '4', 'yuan'] #在匹配部分加上（）之后所切出的结果是不同的， #没有（）的没有保留所匹配的项，但是有（）的却能够保留了匹配的项， #这个在某些需要保留匹配部分的使用过程是非常重要的。