selenium+phantomjs

解决办法：解决页面js的问题，主要需要一个工具，这个工具（具备浏览器的功能）可以帮助我们来运行获取到的js

1、什么selenium？
selenium是一个web自动化测试工具。但是他本身不带浏览器的功能，他这工具就相当于一个驱动程序,通过这工具可以帮助我们自动操作一些具有浏览器功能外部应用。
2、什么是phantomjs？
phantomjs就是内置的无界面浏览器引擎。他可以像浏览器那样加载页面，运行页面中的js代码。
chromedriver.exe这个是谷歌浏览器驱动程序，通过这个程序可以使得selenium可以调用chrome浏览器。—有界面浏览器。

这两个的功能有界面的更加强大：很多网站还是可以识别你是不是用phantomjs来进行爬取的，也会被禁。
但是有界面的chrome浏览器是不会被禁的，他就像一个真正用户在请求一样。
3、selenium和phantomjs的安装。
（1）下载phantomjs和chromedriver.exe
搜索phanomjs镜像
（2）安装：
解压
找到两个压缩包中exe文件，将其复制到anaconda/Scripts目录下面就ok了。
C:\Anaconda3\Scripts
C:\Anaconda3
（3）测试：
在cmd中输入：phantomjs
chromedriver
(4)selenium安装：pip isntall selenium==2.48.0

• 点赞
• 收藏
• 分享
• 文章举报