爬虫、网页分析解析辅助工具 Xpath-helper
2015-08-16 17:39
281 查看
搬运自本人博客:http://www.xgezhang.com/xpath_helper.html
每一个写爬虫、或者是做网页分析的人,相信都会因为在定位、获取xpath路径上花费大量的时间,甚至有时候当爬虫框架成熟之后,基本上主要的时间都花费在了页面的解析上。在没有这些辅助工具的日子里,我们只能通过搜索html源代码,定位一些id去找到对应的位置,非常的麻烦,而且经常出错。这里介绍一个chrome的xpath辅助插件给大家。
先给到下载链接:xpath-helper
安装好之后,我们重新打开浏览器,按ctrl+shift+x就能调出xpath-helper框了。界面如下:
如果我们要查找某一个、或者某一块元素的xpath路径,可以按住shift,并移动到这一块中,上面的框就会显示这个元素的xpath路径,右边则会显示解析出的文本内容,并且我们可以自己改动xpath路径,程序也会自动的显示对应的位置,可以很方便的帮助我们判断我们的xpath语句是否书写正确。
虽然这个小插件使用非常方便,但它也不是万能的,有两个问题:
1.XPath Helper 自动提取的 XPath 都是从根路径开始的,这几乎必然导致 XPath 过长,不利于维护;
2.当提取循环的列表数据时,XPath Helper 是使用的下标来分别提取的列表中的每一条数据,这样并不适合程序批量处理,还是需要人为修改一些类似于*标记等。
不过,合理的使用Xpath,还是能帮我们省下很多时间的!
每一个写爬虫、或者是做网页分析的人,相信都会因为在定位、获取xpath路径上花费大量的时间,甚至有时候当爬虫框架成熟之后,基本上主要的时间都花费在了页面的解析上。在没有这些辅助工具的日子里,我们只能通过搜索html源代码,定位一些id去找到对应的位置,非常的麻烦,而且经常出错。这里介绍一个chrome的xpath辅助插件给大家。
先给到下载链接:xpath-helper
安装好之后,我们重新打开浏览器,按ctrl+shift+x就能调出xpath-helper框了。界面如下:
如果我们要查找某一个、或者某一块元素的xpath路径,可以按住shift,并移动到这一块中,上面的框就会显示这个元素的xpath路径,右边则会显示解析出的文本内容,并且我们可以自己改动xpath路径,程序也会自动的显示对应的位置,可以很方便的帮助我们判断我们的xpath语句是否书写正确。
虽然这个小插件使用非常方便,但它也不是万能的,有两个问题:
1.XPath Helper 自动提取的 XPath 都是从根路径开始的,这几乎必然导致 XPath 过长,不利于维护;
2.当提取循环的列表数据时,XPath Helper 是使用的下标来分别提取的列表中的每一条数据,这样并不适合程序批量处理,还是需要人为修改一些类似于*标记等。
不过,合理的使用Xpath,还是能帮我们省下很多时间的!
相关文章推荐
- 优化tableView性能(针对滑动时出现卡的现象)
- 关于selenium+python的googledirver和iedirver的配置
- 转:支付漏洞的三种常见类型
- 安卓飞机大战(一) 背景移动
- Android中的测试
- 替代TabActivity,底部菜单主框架搭建
- C++ Primer 学习笔记_45_STL实践与分析(19)--建筑常规算法
- RPC
- NOI 2015 day1 T2 软件包管理器
- C++面试题
- Java学习之路0804<复习>(线程、注解)
- UITableView优化技巧
- UVa 1225 - Digit Counting
- 在PKI的技术路上的经历,在此与大家共勉
- Myeclipse 经常loading descriptor for XXX ,然后卡死
- 两个jre"和"三个lib"的功能简单扼要的解释
- Tomcat数据库连接池的配置方法总结
- CSS Line Box:溢出与折行
- nodejs抓取数据一(列表抓取)
- I Hate It 线段树