python爬虫学习之re正则表达式
2018-03-14 15:32
816 查看
正则表达式包re
regular expression = regex = re 正则表达式是通用的字符串表达框架,是判断字符串的特征所属的方法,这种方法几乎在所有的计算机相关领域都有所涉及。那么,爬虫这一对数据的提取的技术也不例外。学好正则表达式是所有计算机人的基本功。正则表达式的编译:将符合正则表达式语法的字符串转换成正则表达式特征。
正则表达式的常用操作符:
1. .表示任何单个字符
2. []字符集,对单个字符给出取值范围
3. [^]非字符集,对单个字符给出排除范围
4. *一个字符0次或无限次扩展(0次扩展就是没有)
5. +前一个字符1次或无限次扩展
6. ?前一个字符0次或1次扩展
7. |左右表达式任意一个如abc|def表示abc或者def
8. {m}扩展前一个字符m次
9. {m, n}扩展前一个字符m次至n次(含n)
10. ^匹配字符串开头,如^abc表示abc且在一个字符串的开头
11. $匹配字符串的结尾
12. ()分组标记,内部只能使用|操作符,如(abc)表示abc,(abc|def)表示abc或def
13. \d数字,等价于[0-9]
14. \w单词字符,等价于[A-Za-z0-9_]
re库的基本使用
re库的应用语句如下import re
re库使用raw string类型表示正则表达式,表示为r’text’
raw string是不包含转义符的字符串
也可以用string,不过太繁琐
re库的主要功能函数:
1. re.search()在一个字符串中搜索匹配正则表达式的第一个位置,返回match对象
2. re.match()从一个字符串的开始的位置匹配正则表达式,返回match对象
3. re.findall()搜索字符串,以列表类型返回全部能匹配的子串
4. re.split()将一个字符串按照正则表达式匹配结果进行分割,返回列表类型
5. re.finditer()搜索字符串,返回一个匹配结果的迭代类型,每个迭代类型元素是match对象
6. re.sub在一个字符串中替换所有匹配正则表达式的子串,返回替换后的字符串
re.search(pattern, string, flags = 0)
pattern:正则表达式的字符串
string:待匹配的字符串
flags:正则表达式使用时的控制标记
控制标记:
re.I忽略正则表达式大小写
re.M 正则表达式中^可以将每行当作匹配开始
re.S 正则表达式.操作符能匹配所有字符,默认是匹配除了换行符外的所有字符
match = re.search(r'[1-9]\d{5}', 'Bit 100081') if match: print(match.group(0))
re.match(pattern, string, flags = 0)
match = re.match(r'[1-9]\d{5}', 'Bit 100081') #这样无结果,因为是从bit开始匹配,这里一定要有if的控制否则空的话无group函数,会报错 if match: print(match.group(0)) match = re.match(r'[1-9]\d{5}', '100081 Bit') if match: print(match.group(0))
re.findall(pattern, string, flags = 0)
ls = re.findall(r'[1-9]\d{5}', 'Bit100081 Bit100082') print(ls)
re.split(pattern, string, maxsplit = 0, flags = 0)
#maxsplit是最大分割数 print(re.split(r'[1-9]\d{5}', 'Bit100081 Bit100082')) print(re.split(r'[1-9]\d{5}', 'Bit100081 Bit100082',maxsplit = 1))
re.finditer(pattern, string, flags = 0)
for m in re.finditer(r'[1-9]\d{5}', 'Bit100081 Bit100082'): if(m): print(m.group(0))
re.sub(pattern, repl, string, count = 0, flags = 0)
''' re.sub(pattern, repl, string, count = 0, flags = 0) repl替换匹配字符串的字符串 count匹配的最大次数 ''' re.sub(r'[1-9]\d{5}', ':zipcode','Bit100081 Bit100082')
正则表达式还有面向对象的用法
#compile将正则表达式形式编译成正则表达式对象 #.compile(pattern, flags) pat = re.compile(r'[1-9]\d{5}') rst = pat.search('BIT 100081') if rst: print(rst.group(0))
生成的表达式对象
re库的match对象
属性:
.string待匹配的文本
.re匹配时使用的pattern对象
.pos正则表达式搜索文本的开始位置
.endpos正则表达式搜索文本的结束位置
方法:
.group(0)是获取匹配后的字符串
.start()匹配字符串在原始字符串的开始位置
.edn()匹配字符串在原始字符串的结束位置
.span()返回(.start(), .end())
match = re.search(r'[1-9]\d{5}', 'BIT 180001') print(match.string) print(match.re) print(match.pos) print(match.endpos) print(match.group(0)) print(match.start()) print(match.end()) print(match.span())
re库的贪婪匹配和最小匹配
最小匹配操作符
*?前一个字符0次或无限次扩展,最小匹配
+?前一个字符1次或无限次扩展,最小匹配
??前一个字符0次或一次扩展,最小匹配
{m, n}前一个字符m或n次扩展(包含n),最小匹配
#re库默认采用贪婪匹配,输出最长子串 match = re.search(r'PY.*N', 'PYANBNCNDN') print(match.group(0)) match = re.search(r'PY.*?N', 'PYANBNCNDN') print(match.group(0))
相关文章推荐
- python爬虫学习笔记6:正则表达式及re库
- Python中re(正则表达式)模块学习
- python爬虫学习(1)--关于正则表达式输入和提取中文
- Python 爬虫学习笔记之正则表达式
- 【python学习】re模块——正则表达式
- python基础之 re(正则表达式)模块学习
- Python模块学习 ---- re 正则表达式
- Python中re(正则表达式)模块学习
- python3爬虫(二) re模块与正则表达式
- python中re模块(正则表达式模块)的使用学习
- 【python】【re正则表达式】学习资源汇总
- 【python爬虫学习2.正则表达式】
- Python模块学习 re 正则表达式
- Python中re(正则表达式)模块学习
- (转)Python爬虫学习笔记(2):Python正则表达式指南
- Python中re(正则表达式)模块函数学习
- Python中re(正则表达式)模块函数学习
- 在学习python网络爬虫时用到的正则表达式
- python爬虫之re正则表达式库
- python网络爬虫学习(四)正则表达式的使用之re的其他方法