xpath提取多个标签下的text
2016-04-27 11:09
183 查看
在写爬虫的时候,经常会使用xpath进行数据的提取,对于如下的代码:
使用xpath提取是非常方便的。假设网页的源代码在selector中:
就可以把“大家好!”提取到data变量中去。
然而如果遇到下面这段代码呢?
如果使用:
只能提取到“美女,”;
如果使用:
又只能提取到“你的微信是多少?”
可是我本意是想把“美女,你的微信是多少?”这一整个句子提取出来。
这还不是最糟糕的,还有第三段代码:
而且内部的标签还不固定,如果我有一百段这样类似的html代码,又如何使用xpath表达式,以最快最方便的方式提取出来?
我差一点就去用正则表达式替换了。还好我去Stack Overflow上面提了问。于是很快就有人给我解答了。
这样,就可以把“我左青龙,右白虎,上朱雀,下玄武。老牛在当中,龙头在胸口”整个句子提取出来,赋值给info变量。
http://www.tuicool.com/articles/iqQFBn
<div id="test1">大家好!</div>
使用xpath提取是非常方便的。假设网页的源代码在selector中:
data = selector.xpath('//div[@id="test1"]/text()').extract()[0]
就可以把“大家好!”提取到data变量中去。
然而如果遇到下面这段代码呢?
<div id="test2">美女,<font color=red>你的微信是多少?</font><div>
如果使用:
data = selector.xpath('//div[@id="test2"]/text()').extract()[0]
只能提取到“美女,”;
如果使用:
data = selector.xpath('//div[@id="test2"]/font/text()').extract()[0]
又只能提取到“你的微信是多少?”
可是我本意是想把“美女,你的微信是多少?”这一整个句子提取出来。
这还不是最糟糕的,还有第三段代码:
<div id="test3">我左青龙,<span id="tiger">右白虎,<ul>上朱雀,<li>下玄武。</li></ul>老牛在当中,</span>龙头在胸口。<div>
而且内部的标签还不固定,如果我有一百段这样类似的html代码,又如何使用xpath表达式,以最快最方便的方式提取出来?
我差一点就去用正则表达式替换了。还好我去Stack Overflow上面提了问。于是很快就有人给我解答了。
使用xpath的string(.)
以第三段代码为例:data = selector.xpath('//div[@id="test3"]') info = data.xpath('string(.)').extract()[0]
这样,就可以把“我左青龙,右白虎,上朱雀,下玄武。老牛在当中,龙头在胸口”整个句子提取出来,赋值给info变量。
http://www.tuicool.com/articles/iqQFBn
相关文章推荐
- java流程控制语句(二)
- iOS指令集那点事儿(i386、armv6、armv7、armv7s、armv64)
- 添加OpenCV_contrib库至OpenCV3.1.0中(Windows 64位 环境下编译OpenCV3.1.0和OpenCV_contrib)
- 真正改变字间距的方法
- 剑指offer 数字在排序数组中出现的次数
- nginx文件类型错误解析漏洞
- 判断android设备是否root
- 负数取模
- Bootstrap(六) 其它内置组件
- 执行Git命令时出现各种 SSL certificate problem 的解决办法
- 利用HttpWebRequest和HttpWebResponse获取Cookie并实现模拟登录
- svn配置hook自动发布项目
- servlet开发简单Java Web项目
- spring MVC mybatis 日志问题
- java流程控制语句(一)
- 回车和换行
- ios background task 后台多任务
- 个人收入预测——决策树详解
- [编程题]树上最长单色路径
- Android平台读写i2c设备开发笔记