Python获取动态网页内容的一种处理方法
2015-03-23 12:36
567 查看
在使用Python爬取网页数据时,常常会出现网页的源码与实际显示的内容有出入的情况,当网页为动态网页时就会出现这种情况,下面用QQ音乐的某个页面举例如何使用Python爬取改网页数据:
网址:http://y.qq.com/#type=singer&mid=000GDDuQ3sGQiT&tab=album
使用Chrome打开网页,对照网页源码,源码中并无专辑相关内容。
打开开发者工具:
对照网页内容,在Sources下面的某个源码里面,发现类似专辑内容的文件,如下图。
右键复制链接地址,使用Python爬取这个链接的内容就可以啦。
网址:http://y.qq.com/#type=singer&mid=000GDDuQ3sGQiT&tab=album
使用Chrome打开网页,对照网页源码,源码中并无专辑相关内容。
打开开发者工具:
对照网页内容,在Sources下面的某个源码里面,发现类似专辑内容的文件,如下图。
右键复制链接地址,使用Python爬取这个链接的内容就可以啦。
相关文章推荐
- Python获取网页指定内容(BeautifulSoup工具的使用方法)
- python打开网页获取网页内容方法总结
- python获取完整网页内容(即包括js动态加载的):selenium+phantomjs
- python打开网页获取网页内容方法总结
- Python获取网页指定内容(BeautifulSoup工具的使用方法)
- Python分布式爬虫前菜(1):关于静态动态网页内容获取的N种方法
- windows和linux获取文件夹内容的一种方法
- 利用python抓取网页各种类型内容(静态、动态)
- 获取其它进程内EDIT BOX内容的一种方法
- 转:php获取网页内容方法总结
- php获取网页内容方法总结
- PHP获取网页内容方法总结
- php获取网页内容方法总结发布
- php 获取网页内容 四种方法
- file_get_contents获取不到网页内容的解决方法
- python3 获取网页内容保存到文件
- 两种方法获取远程网页的内容
- Python网页抓取:获取页面中某段内容的xpath
- python_获取网页的内容和状态
- php获取网页内容方法总结