Selenium 爬取评论数据，就是这么简单！

本文来自作者 秦子敬 在 GitChat 上分享「如何利用
Selenium 爬取评论数据？」，「阅读原文」查看交流实录

「文末高能」

编辑 | 飞鸿

一、前言

我们知道，如今的 web 网页数据很多是动态加载的，普通的爬虫只是抓取静态的网页。实用性很差，因此，我们需要使用 Selenium 来爬取动态数据。评论区的数据，大多数情况下，都需要下拉刷新才能加载出来。而 Selenium 就能帮我们很好的爬取动态数据。

在本场 Chat 中我将介绍如何用基于 Selenium 的爬虫爬取 B 站评论，并介绍如何用 Firefox 浏览器的实用插件 FirePath 协助爬虫。主要内容包括：

对比静态爬虫与动态爬虫

什么是 Selenium？Selenium 工具的安装（基于 Firefox 浏览器）

介绍强大的 Xpath 定位工具——FirePath 协助爬虫

实例操作：爬取 B 站评论

拓展：介绍 Tar 浏览器，实现匿名 IP 爬虫，防止 IP 封禁

二、环境搭建

（1） Windows10（有兴趣的小伙伴可以在Linux尝试）

（2）IDE：JetBrains PyCharm Community Edition 2017.1.2 x64（如果是学生、可以申请到免费版）

（3）Python2.7、pip工具

（4）Firefox浏览器（版本55.0）以及Firefox下的插件FirePath

这里介绍一下FirePath的安装。打开Firefox 按以下步骤安装：











（5）Selenium版本3.5

使用Pip工具在windows的cmd命令行下

Pip install selenium



因为我这里已经装好了 所以cmd显示的输出会和你们不一样。

（6）FireFox对应的Selenium驱动程序

下载链接：驱动下载地址(https://github.com/mozilla/geckodriver/releases)

注意FireFox和Selenium版本对应 笔者在安装这个驱动的时候走了不少弯路。



这个是笔者使用的版本。

还有以下几点一定要注意，那就是下载好的驱动程序请解压到浏览器所在文件夹目录
并且复制好路径到环境变量path。并且请把Firefox浏览器的.exe文件的路径也复制到环境变量path,把驱动文件拷贝一份放在你Python2.7的目录下。这样才能正常建立浏览器和驱动的联系。

Mac 和 linux 可以参考这篇回答（windows也有介绍）：关于驱动安装失败常见解答(https://www.zhihu.com/question/49568096)

三、正文内容

1. 对比静态爬虫与动态爬虫

爬虫是什么呢?爬虫又被称为网络蜘蛛、网络机器人，是一种自动抓取万维网信息的程序或脚本。我们日常使用的搜索引擎就是通过爬虫技术实现的。我们可以使用爬虫来获取大量数据。

我们平时上网的时候，有时需要填写各种验证码，如果你观察细心，有些验证码旁边会有一行字：“我们需要验证你是不是机器人。”这就建站人用验证码的方式过滤掉一些爬虫。

其实Python也有识别验证码的库，这里给大家推荐pytesseract库，一般的验证码都能解决，有兴趣的朋友可以去了解

可以参考这篇文章：Pytesseract库识别验证码(http://www.cnblogs.com/yutingmoran/p/5984213.html)

那么，为什么建设网站的人要检测爬虫呢？你会想，不都是访问网页吗？但是，我们需要知道，使用爬虫会给网站的服务器带来不少负担，影响服务器性能。而且，爬虫并不是真正的人，不是真正的客户，这当然不被建站人喜欢。而且爬虫爬取来的数据最好不要用于商业用途，不然会遇上法律纠纷的。

这里有一篇文章是关于爬虫使用不当的案例：爬虫使用不当法律纠纷文章(http://www.sohu.com/a/72197083_115980)

因此，我们写爬虫的人，应该站在建站人的角度思考。尽可能在不影响服务器使用的情况下获取需要的数据。

爬虫根据爬取的数据的不同，可以分为静态的爬虫和动态的爬虫。有些网页只是一个简单的web网页，数据不会动态更新，像百度百科、csdn的博文等等，展示一个网页。单纯只有静态数据的web网页已经不多了。所以静态的爬虫实用性很差。

有些数据则不同，他是动态的，像淘宝里的评论区里的数据，b站里的评论区数据，动态加载。那么静态爬虫就不够用了。那么这时我们就需要我们的法宝—Selenium了

2. 什么是 Selenium？Selenium工具安装（基于 Firefox 浏览器）

Selenium是一个浏览器自动化测试框架。本来是作为web应用程序测试的工具。它可以直接运行在浏览器里，模仿真正的用户操作。目前支持IE、Firefox、Safari、Chrome大多数主流浏览器。以前是不用驱动的，现在如果要使用Selenium必须要安装对应浏览器的驱动。也就是说，使用Selenium，爬虫能够更像人的行为，去访问网页，从而获取到有用的信息。

有下面几点好处：一、爬虫的行为更接近人使用浏览器时的操作，降低了被服务器发现的可能。二、对于有些动态数据，比如需要用户下拉刷新才出来的数据，普通的静态爬虫是无可奈何的。

那么使用Selenium模拟用户行为，下拉滚动条就可以把隐藏的数据获取到了。

工具的安装上文已经说明，这里就不再赘述。

3. 介绍强大的 Xpath 定位工具——FirePath 协助爬虫

如果你之前写过爬虫，你就会发现，爬数据前，需要对网页的HTML进行分析。定位到需要的数据处。你也许看过不少教程里教的，使用正则表达式，通过css定位等等。还没爬到数据，就被这个网页分析手工定位数据烦死了。太繁琐了。

上帝教导我们要好好使用工具，而不是只用蛮力。要巧干。这里向大家介绍一款神器。Firefox的定位工具FirePath。

安装的方法上文已经有讲，不再赘述。下面介绍，如何使用它。

（1）打开Firefox，在插件的界面选择启用FirePath。



这里我已经启用了，所以按钮显示的是禁用。如果你是第一次使用，按钮上显示的应该是启用。

（2）在Firefox打开你需要爬取数据的网页 键盘按F12。



（3）



（4）使用鼠标在网页处点击你需要的获取的数据 比如标题，你会发现FirePath已经自动为你生成对应的xPath定位代码。



这样就不用手动分析html结构,自己写路径了。大大提高了效率。

（5）当然也可以使用其他格式的 在这里可以切换。



Xpath和css定位是比较好的定位方式了。

4. 实例操作：爬取 B 站评论

接下来，通过实战的方式来学习一下，具体如何Selenium去爬取B站的评论。实战以前，介绍一些要用到的方法。

（1）

fp = webdriver.Firefox() #获得基于Firefox的对象
fp.set_preference("permissions.default.stylesheet",2)  
fp.set_preference("permissions.default.image",2)

这个是对Selenium自动化测试的配置。可以选择不加载图片、css渲染、禁止使用Javascript目的是为了加快网页的加载。这里根据需要自由选择。第二个参数填2表示禁用。更多用法可以到Selenium官网查看文档

Selenium官网

如果进不去，代表你需要一些特殊的工具。这里不做介绍。

（2）

target = app.find_element_by_xpath(".//*[@id='recommend_report']/div[1]/span")

使用find_element_by_xpath（）即通过xpath来定位参数就用FirePath获取到的xpath.当然也有其他方式定位



读者可以试试其他方法。

值得注意的是，find_elements_by_xpath和find_element_by_xpath一个有s一个没有。前者返回一个数组，后者返回一个元素。其他方法同理。这里推荐xpath与css两种方法，比较精准。

(3)

1.app.execute_script("arguments[0].scrollIntoView();", target)#定位到特定的元素  
2.time.sleep(3)

这里执行script语句，去定位到我们要到的位置。模拟滚动条下拉。但是值得一提的是每次返回执行一次有关数据请求与返回的方法。最好暂停一会。这是让服务器有缓冲的余地。所以使用time.sleep()

我们在本次实战准备爬取B站的评论区数据、经过分析，b站的评论区数据要下拉到浏览器的一定位置评论区数据才会显示。再分析需要的数据，爬取下响应的数据。这里就不一一分析。有疑问的小伙伴，我可以在chat时给你们解答。这里贴出笔者写的代码。

1.#coding=utf-8  
2.from selenium import webdriver  
3.import sys  
4.import time  
5.from selenium.webdriver.common.keys import Keys  
6.reload(sys)  
7.sys.setdefaultencoding("utf-8")  
8.  
9.
10.app = webdriver.Firefox()  
11.app.get("https://www.bilibili.com/video/av3553625/?from=search&seid=10292605247919873793")  
12.  
13.target = app.find_element_by_xpath(".//*[@id='recommend_report']/div[1]/span")  
14.app.execute_script("arguments[0].scrollIntoView();", target)#定位到特定的元素  
15.time.sleep(3)  
16.  
17.target2 = app.find_element_by_xpath(".//*[@id='bbComment']/div[1]/div[4]/div[4]/span/a");  
18.app.execute_script("arguments[0].scrollIntoView();", target2)  
19.time.sleep(3)  
20.target2.click()  
21.  
22.for i in range(20):  
23.    if(i==7):  
24.        continue  
25.    name = app.find_element_by_xpath(".//*[@id='bbComment']/div[1]/div[4]/div["+str(i+1)+"]/div[2]/div[1]/a[1]")  
26.    test = app.find_element_by_xpath(".//*[@id='bbComment']/div[1]/div[4]/div["+str(i+1)+"]/div[2]/p")  
27.    if (i != 13 and i != 17):  
28.        pinglun1 = app.find_element_by_xpath(".//*[@id='bbComment']/div[1]/div[4]/div["+str(i+1)+"]/div[2]/div[3]/div[1]/div/div[1]/span")  
29.    if (i != 13 and i != 17):  
30.        pinglun2 = app.find_element_by_xpath(".//*[@id='bbComment']/div[1]/div[4]/div["+str(i+1)+"]/div[2]/div[3]/div[2]/div/div[1]/span")  
31.    if(i !=12 and i !=13 and i != 17):  
32.        pinglun3 = app.find_element_by_xpath(".//*[@id='bbComment']/div[1]/div[4]/div["+str(i+1)+"]/div[2]/div[3]/div[3]/div/div[1]/span")  
33.    print ("作者：")  
34.    print (name.text.strip())  
35.    print ("内容：")  
36.    print test.text.strip()  
37.    print ("后续：")  
38.    if (i != 13 and i != 17):  
39.        print pinglun1.text.strip()  
40.    if (i != 13 and i != 17):  
41.        print pinglun2.text.strip()  
42.    if (i != 12 and i != 13 and i != 17):  
43.        print pinglun3.text.strip()  
44.    print ("\n")  
45.    time.sleep(3)  
46.app.quit()

因为有些评论区的数据是有的，有些是没有的。我们就在for循环里加了一个if判断。如果那一层的评论没有，就Continue跳过就好。

效果图如下：



这些数据是评论区的精彩热评，我爬下了作者的用户名ID 评论内容 和这个评论的跟帖评论。加以整理。

值得一提的是，如果Selenium能做的还远远不止这些，还能模拟点击事件，键盘的输入事件。这个给大家留一个思考题，尝试使用Selenium模拟登陆B站。

提示：使用方法app.click() app.sendkey() app.clear()

参考文章：selenium自动化登陆操作(http://www.cnblogs.com/wzben/p/5024830.html)

5. 拓展：介绍 Tor 浏览器，实现匿名 IP 爬虫，防止 IP 封禁

在爬虫过程中，如果操作不当，被服务器监测到，就有可能导致自己的IP被网站封禁。在一定时间内，拒绝访问。那么有什么办法可以解决呢？

再向大家推荐一款神器，Tor浏览器。这个浏览器，据说这个浏览器本来是

美国军方用来获取信息的工具。能够匿名IP，把自己的的真实IP给隐藏。使用别人的ip。加密算法很强大。著名的比特币发明人中本聪，就是通过这个工具隐藏自己的身份，推广比特币的。

要想进一步了解。Tor浏览器。可以看一下这些文章。

Tor浏览器详情( http://www.cnblogs.com/likeli/p/5719230.html )

Tor浏览器详情( http://blog.csdn.net/whiup/article/details/52317779 )

Tor浏览器详情( https://www.deepdotweb.com/2014/05/23/use-tor-socks5-proxy/ )

（1）安装tor浏览器：安装tor浏览器

( http://www.theonionrouter.com/projects/torbrowser.html.en )

（2）如何配置tor浏览器：配置tor浏览器

( https://jingyan.baidu.com/article/adc815137654fbf723bf73b1.html )

（3）Python安装相应的库

Pip install pysocks
Pip install stem

（4）使用方法

先打开Tor浏览器 再运行程序：

import socks  
import socket  
import requests  
socks.set_default_proxy(socks.SOCKS5,"127.0.0.1",9150)  #9150是默认端口
socket.socket = socks.socksocket    
a = requests.get("http://checkip.amazonaws.com").text    
print a

这个代码会通过访问http://checkip.amazonaws.com，得到一个ip,你会发现这不是你的真实ip,大多情况下是国外的ip：



用百度查找IP ：



（5）切换IP

1.#coding=utf-8  
2.from stem import Signal  
3.from stem.control import Controller  
4.import socket  
5.import socks  
6.import requests  
7.import time  
8.import sys  
9.reload(sys)  
10.sys.setdefaultencoding('utf-8')  
11.  
12.controller = Controller.from_port(port=9151)  
13.controller.authenticate()  
14.socks.set_default_proxy(socks.SOCKS5,"127.0.0.1",9150)  
15.socket.socket = socks.socksocket  
16.  
17.total_scrappy_time = 0  
18.total_changeIP_time = 0  
19.for x in range(0,10):  
20.    a = requests.get("http://checkip.amazonaws.com").text  
21.    print ("第"+str(x+1)+"次IP："+a)  
22.  
23.    time1 = time.time()  
24.    a = requests.get("http://www.santostang.com/").text  
25.  
26.    time2 = time.time()  
27.    total_scrappy_time = total_scrappy_time + time2-time1  
28.    print ("第"+str(x+1)+"次抓取花费时间："+str(time2-time1))  
29.  
30.    time3 = time.time()  
31.    controller.signal(Signal.NEWNYM)  
32.    time.sleep(5)  
33.    time4 = time.time()  
34.    total_changeIP_time = total_changeIP_time + time4-time3-5  
35.    print ("第"+str(x+1)+"次更换IP花费时间: "+str(time4-time3-5))  
36.  
37.print ("平均抓取花费时间："+str(total_scrappy_time/10))  
38.print ("平均更换IP时间："+str(total_changeIP_time/10))

6. 可能提到到的问题

为什么使用 Python2.7而不是Python3?为什么不用更好的Anaconda而是使用pip下载工具？

笔者平时也是使用Python3的，之前想尝试在Python3下使用Selenium发现使用不了。笔者使Anaconda在命令行

Conda install selenium

会发现Anaconda没有这个库。

7. 推荐资料

《Python网络爬虫从入门到实践》—唐松（非常赞的一本书 17年刚刚出版）

《Selenium2 自动化测试实战》—虫师（推荐虫师的博文，非常不错）

有兴趣的朋友可以了解Scrapy框架，爬虫非常好用，实用。爬虫效率会得到大大提升。

8. 写在最后的话

真的真的非常感谢各位能够来参加这场chat,这是我第一次做chat,感谢各位的支持。感激不尽。如果本文能给你带来些许帮助，这真是我的荣幸。感谢。

松爱家的小秦

近期热文

《TensorFlow
人脸识别网络与对抗网络搭建》

《带你从零开始，快速学会
Matlab GUI》

《Docker
落地踩过的坑》

《如何快速入门网络基础知识（TCP/IP
和 HTTP》

《Node
企业项目大规模实践》

福利



「阅读原文」看交流实录，你想知道的都在这里