python selenium和xpath实现控制谷歌浏览器爬取小说

标题下载谷歌浏览器版本对应的控制驱动

查看自己的谷歌浏览器驱动，找到浏览器>>设置>>帮助>>关于chrome。
在浏览器驱动下载地址上下载对应的版本。
解压，然后将exe文件放在python的安装目录下的script目录下。（这里注意你当前pycharm的python解释器环境也在这个目录）

标题安装selenium三方库

命令行安装

pip install selenium

标题实现selenium和xpath结合控制浏览器下载小说

from time import sleep
from selenium import webdriver
#实例化一个浏览器驱动
chrome = webdriver.Chrome()
def getText(url):
url=chrome.get(url)
content = chrome.find_elements_by_xpath("//div[@class='title_txtbox']")
text = chrome.find_elements_by_xpath("//div[@class='content']/p")
with open("read.txt",mode="a+") as f:
for i in content:
f.write(i.text+'\n')
for i in text:
f.writelines(i.text+'\n')
sleep(1)
next_chapter = chrome.find_elements_by_xpath("//a[@class='nextchapter']")
if next_chapter:
next_chapters = next_chapter[0].get_attribute('href')
chrome.find_elements_by_xpath("//a[@class='nextchapter']")[0].click()
getText(next_chapters)
else:
chrome.close()
return 0
chrome.close()

getText("http://book.zongheng.com/chapter/189169/3431546.html")