正则表达式基础——以Python爬虫为实例

本篇文章以Python爬虫为实例，以应用为目标介绍正则表达式

获取某网站图片的爬虫算法

正则——初识

正则——元字符

正则——分组

正则——常用函数

1. 爬虫算法

import re
import urllib.request
def getHtml(url):
page=urllib.request.urlopen(url)
html=page.read()
return html

def getImg(html):
reg=r'src="(.*?\.jpg)"'
image=re.compile(reg)
imglist=re.findall(image,html.decode('utf-8'))
count=0
for i in imglist:
urllib.request.urlretrieve(i,'%s.jpg'% count)
count+=1

html=getHtml("https://xxx")
getImg(html)

注意

- 1.因为py2.x和3.x不兼容，在2.x中引urllib包直接import urllib，但在3.x中，需要改为import urllib.request，并且每处使用相关函数都需改动。

- 2.因为html用decode（utf-8）进行解码，内容由bytes变成了String，而py3中urlopen返回的是bytes，所以需要改为decode(“utf-8”)。

详解

- 1.py中用到正则，必须要引包re，程序中需要打开网页，因为笔者是py3，所以引包urllib.request。

- 2.定义两个方法①getHtml(url)②getImg(html)。顾名思义，方法一是为了拿到网站中所有资源，方法二是为了从所有资源中找到目标资源，笔者以图片为例。

- 3.算法关键在第二个方法中的正则表达式内容reg=r’src=”(.?.jpg)”’，reg是匹配规则的名称，相当于变量名，加r是为了保持字符串的原意，这段正则匹配的内容是“src=xxx.jpg”，其中xxx可以用任何字符代替(可直接换成某网站，将代码复制粘贴即可看到效果，下载内容默认保存工程文件目录下)。能达到这个效果的原因即正则表达式在接下来的内容中介绍。

2. 正则——初始

正则表达式 （或RE）是一种小型的，高度专业化的编程语言，它内嵌在Python中，并通过re模块实现。

可以为想要匹配的相应字符串集指定相应规则

该字符集可能包含英文语句、email等等

可以得出字符串是否匹配相关模式的回答

也可以使用re来修改或分割字符串

也是一门小型的功能有限的语言，并非所有字符串处理都能用正则表达式解决

3.正则——元字符

元字符	意义
[]	常用来指定一个字符集，如t[io]p 可以表示top或者tip
^	常用来匹配段首，如“^hello”表示在开始位置的hello
$	常用来表示匹配行尾，如‘hello$’，表示在行尾的 4000 hello
.	匹配任意字符
*	表示前面字符出现0次或以上
+	表示前面字符至少出现一次
？	表示前面字符至多只能出现一次
{}	括号中可以填数字表示前面字符重复的次数

以上是部分元字符，还有一些结合\的特殊字符。

字符	意义
\d	匹配任何十进制数，相当于类【0-9】
\D	匹配任何非数字字符，相当于类【^0-9】
\s	匹配任何空白字符，相当于类【\t\n\r\f\v】
\S	匹配任何非空白字符，相当于类【^\t\n\r\f\v】
\w	匹配任何数字字母字符，相当于类【a-aA-Z0-9_】
\W	匹配任何非数字字母字符，相当于类【^a-aA-Z0-9_】

举例：





1.电话——假设某地区电话格式为010-12345678，用正则表达式来表示为\d{3}-?\d{8}，可以看到，在定义的字符串中有多个元素，但只有111-12345678符合。

补充说明：findall（a，b）方法用来匹配，表示用规则a来匹配字符串s，若s中有符合条件则范围结果，否则返回空。同样可用来匹配的还有match（）等，以match（）为例，和findall（）不同的是前者返回的是一个object对象。另外，正则匹配也有贪婪和非贪婪之分，例如“ab+”是一个贪婪的匹配，或将字符串中所有符合的都找出，而“ab+？”则是非贪婪匹配，只会出现一次，归根究底，还是？元字符发挥了作用。





2.网站——以www.baidu.com为例，正则为“w{3}.\w+.(com|cn)”，可以看到定义的s字符串中只有一个符合（此处用的match（注意返回的是一个对象））。另外，由于网址中的‘.’是元字符，有点计算机常识的都清楚需要加转义字符\。

因为网址最后的顶级域名有com cn等不确定的内容，所以用了另外一个知识“分组”，即表达式中的（），具体的内容会在下面继续介绍。

4.正则——分组

分组可以把相关数据化为一个整体，在这个整体中可以进行‘或’等操作，当有分组时，findall（）会优先返回分组内容。





可以看到，将match（）换成findall（）以后，返回的结果就由对象换成了分组内容。

分组应用的场景很多，在对网页做分析或者做爬虫是非常有用

5.正则——常用函数

正则的常用函数之前环节就有介绍，例如用作匹配的findall（）、match（）等等。此处补充一个编译。

首先是编译的语法规则，如下图所示。



可以看到编译的函数是re.compile（）参数是已经定义好的正则。

为什么要经编译呢？

对于使用次数较多的正则，通过编译可以提速，从而减少运行的时间。这对于规模较大的工程来说，非常有用。

上面内容中，通过爬虫算法以及一些小程序简单地介绍了正则表达式，笔者认为，对于一位计算机行业工作者来说，掌握正则的必要性不言而喻，很多时候能较大程度上提高工作效率。

以上内容，如有不足之处，还望多多批评指正，谢谢。