Python爬虫之处理带Ajax、Js的网页

Python爬虫之处理带Ajax、Js的网页

  现在很多网站的都大量使用JavaScript，或者使用了Ajax技术。这样在网页加载完成后，url虽然不改变但是网页的DOM元素内容却可以动态的变化。如果处理这种网页是还用requests库或者python自带的urllib库那么得到的网页内容和网页在浏览器中显示的内容是不一致的。那么我们这样就采集不到想要的结果。

  为了解决这个问题，可以使用Selenium+PhantomJS。这两个组合在一起，可以运行非常强大的爬虫，可以处理cookie，JavaScript，header以及其他你想做的任何事情。

  Selenium是一个强大的网络数据采集工具，最初是为网站自动化测试开发的，其有对应的Python库，可以通过命令

pip install selenium

进行安装。

  PhantomJS是一个基于webkit内核的无头浏览器，即没有UI界面，即它就是一个浏览器，只是其内的点击、翻页等人为相关操作需要程序设计实现。通过编写js程序可以直接与webkit内核交互，在此之上可以结合java语言等，通过java调用js等相关操作。需要去官网下载对应平台的压缩文件，Linux下直接解压即可使用。

  下面是通过这两者来解决客户端重定向问题的例子：

from selenium import webdriver
import time
from selenium.webdriver.remote.webelement import WebElement
from selenium.common.exceptions import StaleElementReferenceException

# 处理重定向，可以定时检查页面的某元素
# 如果和先前的不一致则可认为客户端重定向
def wait_for_load(driver):
#elem = driver.find_element_by_tag_name("html")
title = driver.find_element_by_tag_name("title")
#print(title)
count = 0
while True:
count += 1
if count > 20:
print("Timing out after 10 seconds and returning")
return
time.sleep(.5)

newtitle = driver.find_element_by_tag_name("title")
if newtitle != title:
return
#try:
#    elem = driver.find_element_by_tag_name("html")
#except StaleElementReferenceException:
#    return

driver = webdriver.PhantomJS(executable_path='./phantomjs')
driver.get("http://pythonscraping.com/pages/javascript/redirectDemo1.html")
wait_for_load(driver)
print(driver.page_source)

phantomjs文件和该程序文件在同级目录下。程序首先加载了driver对象，然后请求网站，之后没0.5秒检测网站的html元素，如果html元素发生改变则认为页面发生了重定向，然后打印重定向后的页面内容。