python提取网页的特定内容(正则表达式实现)
2015-03-16 19:33
711 查看
关于正则表达式参考正则表达式
python可以很方便地抓取网页并过滤网页的内容,那么,如何从如下的网页中提取csdn文章的标题“《unix网络编程(卷1)源代码的使用方法》”。
第二行:当读取到了连接的内容后,使用正则表达式进行匹配。这里要匹配的字符串的尾部是</a></span>,要匹配最近的</a></span>需要注意下面黑体字部分:
注意:
当正则表达式中包含能接受重复的限定符时,通常的行为是(在使整个表达式能得到匹配的前提下)匹配尽可能多的字符。以这个表达式为例:a.*b,它将会匹配最长的以a开始,以b结束的字符串。如果用它来搜索aabab的话,它会匹配整个字符串aabab。这被称为贪婪匹配。有时,我们更需要懒惰匹配,也就是匹配尽可能少的字符。前面给出的限定符都可以被转化为懒惰匹配模式,只要在它后面加上一个问号?。这样.*?就意味着匹配任意数量的重复,但是在能使整个匹配成功的前提下使用最少的重复。
现在看看懒惰版的例子吧:a.*?b 匹配最短的,以a开始,以b结束的字符串。如果把它应用于aabab的话,它会匹配aab(第一到第三个字符)和ab(第四到第五个字符)。
表 懒惰限定符
第三行:allfinds一个列表,包含一个元素(文章标题),而且在标题的首尾均含有空格,strip()可以去除字符串首尾两端的空格。
python可以很方便地抓取网页并过滤网页的内容,那么,如何从如下的网页中提取csdn文章的标题“《unix网络编程(卷1)源代码的使用方法》”。
<script type="text/ecmascript"> window.quickReplyflag = true; </script> <div id="article_details" class="details"> <div class="article_title"> <span class="ico ico_type_Original"></span> <h1> <span class="link_title"><a href="/u013074465/article/details/44280335"> 《unix网络编程(卷1)》源代码的使用方法 </a></span> </h1> </div>如下是核心代码,使用正则表达式实现:
html2 = opener.open(page).read() allfinds2 = re.findall(r'<span class="link_title"><a href="/u013074465/article/details/........">\r\n(.+?)</a></span>',html2, re.S) print allfinds2[0].strip()第一行:打开链接,page指向的是所要提取的文章标题的链接;
第二行:当读取到了连接的内容后,使用正则表达式进行匹配。这里要匹配的字符串的尾部是</a></span>,要匹配最近的</a></span>需要注意下面黑体字部分:
注意:
当正则表达式中包含能接受重复的限定符时,通常的行为是(在使整个表达式能得到匹配的前提下)匹配尽可能多的字符。以这个表达式为例:a.*b,它将会匹配最长的以a开始,以b结束的字符串。如果用它来搜索aabab的话,它会匹配整个字符串aabab。这被称为贪婪匹配。有时,我们更需要懒惰匹配,也就是匹配尽可能少的字符。前面给出的限定符都可以被转化为懒惰匹配模式,只要在它后面加上一个问号?。这样.*?就意味着匹配任意数量的重复,但是在能使整个匹配成功的前提下使用最少的重复。
现在看看懒惰版的例子吧:a.*?b 匹配最短的,以a开始,以b结束的字符串。如果把它应用于aabab的话,它会匹配aab(第一到第三个字符)和ab(第四到第五个字符)。
代码/语法 | 说明 |
---|---|
*? | 重复任意次,但尽可能少重复 |
+? | 重复1次或更多次,但尽可能少重复 |
?? | 重复0次或1次,但尽可能少重复 |
{n,m}? | 重复n到m次,但尽可能少重复 |
{n,}? | 重复n次以上,但尽可能少重复 |
相关文章推荐
- 【python学习笔记】用正则表达式从含中文的网页中提取数据(含编码转换)
- Python基于正则表达式实现检查文件内容的方法【文件检索】
- 网页内容提取常用正则表达式
- 用正则表达式抓取制定网页的特定内容(本文以抓取a标签为例)
- 搜狗新闻语料库 python正则表达式 新闻内容提取
- jmeter正则表达式提取器提取特定字符串后的全部内容
- [python]根据正则表达式提取指定的内容
- python使用正则表达式提取网页URL的方法
- 用正则表达式提取网页上表格的内容
- python 根据正则表达式提取指定的内容实例详解
- C#通过正则表达式实现提取网页中的图片
- Python爬虫urllib2笔记(三)之使用正则表达式提取百度贴吧网页中的楼主发的图片
- 用正则表达式提取网页内容--选秀榜selectop.com网站内容管理系统之五
- Google Python Class 之——正则表达式提取html网页数据字段
- 用python正则表达式提取网页的url
- python 根据正则表达式提取指定的内容实例详解
- 【学习python】re 正则表达式匹配特定词性的conll,提取句子主干(主谓宾)
- 正则提取出HTML正文(剔除标签内容)python实现
- Python 正则表达式从CSV文件提取特定列