Python爬虫关于多层嵌套iframe的解决
2018-02-28 16:37
375 查看
近期由于公司资源需要,我爬取了一个视频网站,结果以为一个很容易的小爬虫,却步步是坑啊,费了一天终于都解决了(太菜了!!!)。
前面导航页的爬虫就不多说了,无非就是webdriver和PhantomJS,然后设置referer和ua,就可以一层一层访问了。其实大多数的网站的防爬都会这么做。
然后到了详情页面,就是我遇到的最困难的一步了。网站为了防止爬虫,嵌套了3层iframe,并且每个iframe都有很多限制,单独打开无法得到想要的数据。
但是PhantomJS获取到的网站源码即使是js加载完成以后的源码也是无法得到iframe里面的源码的,在网上找了很多方法,然后终于找到了方法。
最主要的就是driver.switch_to.frame(iframe) 这个方法,它会尽到iframe里面去执行,这样的话就不需要你在去设置referer之类的了,很方便的就访问了。到这一步大多数的iframe里面的东西就可以取到了。
但是!!!这个网站防爬还是做的比较不错了,iframe里面的数据还是获取不到视频的源,js代码都执行了。没办法了,最后使用webdriver.Chrome方法才获取到了数据。看来PhantomJS还是有一些功能限制啊。
每次访问不能一直打开浏览器呀,这样在服务器也无法实现,幸好webdriver.Chrome还提供方法实现无窗口访问,代码就是这样的:
到此,基本的功能也实现了。
具体实现代码如下:
最后才发现代码真的非常非常少,结果费了一天的功夫才解决。记录一下,提醒一下自己有多菜。
前面导航页的爬虫就不多说了,无非就是webdriver和PhantomJS,然后设置referer和ua,就可以一层一层访问了。其实大多数的网站的防爬都会这么做。
然后到了详情页面,就是我遇到的最困难的一步了。网站为了防止爬虫,嵌套了3层iframe,并且每个iframe都有很多限制,单独打开无法得到想要的数据。
但是PhantomJS获取到的网站源码即使是js加载完成以后的源码也是无法得到iframe里面的源码的,在网上找了很多方法,然后终于找到了方法。
driver.get(url) iframe = driver.find_elements_by_tag_name('iframe')[1] driver.switch_to.frame(iframe) # 最重要的一步 soup = BeautifulSoup(driver.page_source, "html.parser")
最主要的就是driver.switch_to.frame(iframe) 这个方法,它会尽到iframe里面去执行,这样的话就不需要你在去设置referer之类的了,很方便的就访问了。到这一步大多数的iframe里面的东西就可以取到了。
但是!!!这个网站防爬还是做的比较不错了,iframe里面的数据还是获取不到视频的源,js代码都执行了。没办法了,最后使用webdriver.Chrome方法才获取到了数据。看来PhantomJS还是有一些功能限制啊。
每次访问不能一直打开浏览器呀,这样在服务器也无法实现,幸好webdriver.Chrome还提供方法实现无窗口访问,代码就是这样的:
chrome_options = Options() chrome_options.add_argument('--headless') driver = webdriver.Chrome('/usr/local/Sunanang/chromedriver/chromedriver', chrome_options=chrome_options)
到此,基本的功能也实现了。
具体实现代码如下:
# -*- coding: utf-8 -*-
from selenium import webdriver
from bs4 import BeautifulSoup
from selenium.webdriver.chrome.options import Options
import sys
from pyvirtualdisplay import Display
chrome_options = Options() chrome_options.add_argument('--headless') driver = webdriver.Chrome('/usr/local/Sunanang/chromedriver/chromedriver', chrome_options=chrome_options)
def getDriverHttp(url):
driver.get(url) iframe = driver.find_elements_by_tag_name('iframe')[1] driver.switch_to.frame(iframe) # 最重要的一步 soup = BeautifulSoup(driver.page_source, "html.parser")
return soup
def getVideoUrl(url):
soup = getHttp(url)
miPlayer = soup.find('div',id='J_miPlayer')
url = miPlayer.find('video').get('src')
driver.quit()
return url
if __name__ == '__main__':
path = getVideoUrl(u'http://aaxxy.com/vod-play-id-10788-src-1-num-2.html')
# path = getVideoUrl(url==sys.argv[1])
print path
最后才发现代码真的非常非常少,结果费了一天的功夫才解决。记录一下,提醒一下自己有多菜。
相关文章推荐
- iframe自适应高度,多层嵌套iframe自适应高度的解决方法
- 多层嵌套Iframe的自适应问题解决
- 多层嵌套Iframe的自适应问题解决-网上摘录
- iframe自适应高度,多层嵌套iframe自适应高度的解决方法
- iframe自适应高度,多层嵌套iframe自适应高度的解决方法
- 多层嵌套Iframe的自适应问题解决
- 多层嵌套Iframe的自适应问题解决
- 多层嵌套iframe 自适应高度的解决方法
- iframe自适应高度,多层嵌套iframe自适应高度的解决方法
- 关于iframe 局部刷新 全部刷新 的解决办法以及嵌套 嵌套html页面
- iframe自适应高度,多层嵌套iframe自适应高度的解决方法
- Python 爬虫之超链接 url中含有中文出错及解决办法
- iframe 多层嵌套 无限嵌套 高度自适应
- Python学习笔记:学习爬虫时遇到的问题TypeError: cannot use a string pattern on a bytes-like object 与解决办法
- 关于windows x64安装MySQL-python失败解决
- [置顶] python爬虫实践——零基础快速入门(六)解决动态页面爬取问题
- 关于center os yum卸载和python卸载后的解决办法
- 【python】100行代码python爬虫程序,抓取网站图片存储本地(附:中文链接解决)
- 关于iframe页面嵌入后在ios设备上position=fixed属性失效的解决办法
- 解决关于python3.4 在windows安装Pillow、lxml 和 ubuntu lxml 安装失败问题