python——爬虫学习——正则表达式与Re库-(4)

正则表达式的概念

正则表达式是用来简洁表达一组字符串的表达式

正则表达式的语法

正则表达式语法由字符和操作符构成

正则表达式的常用操作符

操作符	说明	实例
.	表示任何单个字符
[ ]	字符集，对单个字符给出取值范围	[abc]表示a、 b、 c，[a‐z]表示a到z单个字符
[^ ]	非字符集，对单个字符给出排除范围	[^abc]表示非a或b或c的单个字符
*	前一个字符0次或无限次扩展	abc* 表示 ab、 abc、 abcc、 abccc等
+	前一个字符1次或无限次扩展	abc+ 表示 abc、 abcc、 abccc等
?	前一个字符0次或1次扩展	abc? 表示 ab、 abc
|	左右表达式任意一个	abc|def 表示 abc、 def
{m}	扩展前一个字符m次	ab{2}c表示abbc
{m,n}	扩展前一个字符m至n次（含n）	ab{1,2}c表示abc、 abbc
^	匹配字符串开头	^abc表示abc且在一个字符串的开头

|匹配字符串结尾|abc表示abc且在一个字符串的结尾

( ) | 分组标记，内部只能使用 | 操作符 |(abc)表示abc，(abc|def)表示abc、 def

\d | 数字，等价于[0‐9] |

\w | 单词字符，等价于[A‐Za‐z0‐9_] |

正则表达式语法实例

正则表达式	对应字符串
P(Y	YT
PYTHON+	‘PYTHON’、 ‘PYTHONN’、 ‘PYTHONNN’ …
PY	ON	‘PYTON’、 ‘PYHON’
PY[^TH]?ON	‘PYON’、 ‘PYaON’、 ‘PYbON’、 ‘PYcON’…
PY{:3}N	‘PN’、 ‘PYN’、 ‘PYYN’、 ‘PYYYN’…

经典正则表达式实例

实例	说明
\^[A‐Za‐z]+$	由26个字母组成的字符串
\^[A‐Za‐z0‐9]+$	由26个字母和数字组成的字符串
\^‐?\d+$	整数形式的字符串
\^[0‐9]*[1‐9][0‐9]*$	正整数形式的字符串
[1‐9]\d{5}	中国境内邮政编码，6位
[\u4e00‐\u9fa5]	匹配中文字符
\d{3}‐\d{8}|\d{4}‐\d{7}	国内电话号码，010‐68913536

Re库

调用方式：

import re

正则表达式的表示类型

raw string 类型

re库采用raw string类型表示正则表达式，表示为：

r'text'

例如：

r'[1‐9]\d{5}'
r'\d{3}‐\d{8}|\d{4}‐\d{7}'

raw string是不包含对转义符再次转义的字符串

string类型

例如：

'[1‐9]\\d{5}'
'\\d{3}‐\\d{8}|\\d{4}‐\\d{7}'

建议：当正则表达式包含转义符时，使用raw string

Re库主要功能函数

（1）re.search(pattern, string, flags=0)

在一个字符串中搜索匹配正则表达式的第一个位置

返回match对象

pattern : 正则表达式的字符串或原生字符串表示

string : 待匹配字符串

flags : 正则表达式使用时的控制标记

常用标记	说明
re.I re.IGNORECASE	忽略正则表达式的大小写，[A‐Z]能够匹配小写字符
re.M re.MULTILINE	正则表达式中的^操作符能够将给定字符串的每行当作匹配开始
re.S re.DOTALL	正则表达式中的.操作符能够匹配所有字符，默认匹配除换行外的所有字符

例:

>>> match = re.search(r'\d+','BIT 100081')
>>> if match:
...     print(match.group(0))
...
100081

(2) re.findall(pattern, string, flags=0)

搜索字符串，以列表类型返回全部能匹配的子串

pattern : 正则表达式的字符串或原生字符串表示

string : 待匹配字符串

flags : 正则表达式使用时的控制标记

例:

>>> ls = re.findall(r'[1-9]+\d+','BIT100081 A100 B101 C102')
>>> ls
['100081', '100', '101', '102']

(3）re.split(pattern, string, maxsplit=0, flags=0)

将一个字符串按照正则表达式匹配结果进行分割

返回列表类型

pattern : 正则表达式的字符串或原生字符串表示

string : 待匹配字符串

maxsplit: 最大分割数，剩余部分作为最后一个元素输出

flags : 正则表达式使用时的控制标记

例:

>>> re.split(r'\d+','BIT100081 A100 B101 C102')
['BIT', ' A', ' B', ' C',
d046
'']
>>> re.split(r'\d+','BIT100081 A100 B101 C102',maxsplit=1)
['BIT', ' A100 B101 C102']

(4) re.finditer(pattern, string, flags=0)

搜索字符串，返回一个匹配结果的迭代类型，每个迭代

元素是match对象

例:

>>> for m in re.finditer(r'\d+','BIT100081 A100 B101 C102'):
...     if m:
...             print(m.group(0))
...
100081
100
101
102

(5) re.sub(pattern, repl, string, count=0, flags=0)

在一个字符串中替换所有匹配正则表达式的子串

返回替换后的字符串

repl : 替换匹配字符串的字符串

count : 匹配的最大替换次数

例：

>>> re.sub(r'\d+','change','BIT100081 A100 B101 C102')
'BITchange Achange Bchange Cchange'

Re库的面向对象用法:

>>> pat = re.compile(r'\d+')
>>> rst=pat.search('BIT 100081')

regex = re.compile(pattern, flags=0)

将正则表达式的字符串形式编译成正则表达式对

>>> pat = re.compile(r'\d+')
>>> rst=pat.search('BIT 100081')

Match对象

Match对象的属性

属性	说明
.string	待匹配的文本
.re	匹配时使用的patter对象（正则表达式）
.pos	正则表达式搜索文本的开始位置
.endpos	正则表达式搜索文本的结束位置

Match对象的方法

方法	说明
.group(0)	获得匹配后的字符串
.start()	匹配字符串在原始字符串的开始位置
.end()	匹配字符串在原始字符串的结束位置
.span()	返回(.start(), .end())

例:

>>> m=re.search(r'\d+','BIT100081 A100 B101 C102')
>>> m.string
'BIT100081 A100 B101 C102'
>>> m.re
<_sre.SRE_Pattern object at 0x0296E560>
>>> m.pos
0
>>> m.endpos
24
>>> m.group(0)
'100081'
>>> m.start()
3
>>> m.end()
9
>>> m.span()
(3, 9)

贪婪匹配

Re库默认采用贪婪匹配，即输出匹配最长的子串

>>> match = re.search(r'PY.*N','PYANBNCNDN')
>>> match.group(0)
'PYANBNCNDN'

最小匹配

最小匹配操作符

操作符	说明
*?	前一个字符0次或无限次扩展，最小匹配
+?	前一个字符1次或无限次扩展，最小匹配
??	前一个字符0次或1次扩展，最小匹配
{m,n}?	扩展前一个字符m至n次（含n），最小匹配

只要长度输出可能不同的，都可以通过在操作符后增加?变成最小匹配

>>> match = re.search(r'PY.*?N','PYANBNCNDN')
>>> match.group(0)
'PYAN'