您的位置:首页 > 其它

爬虫-基于selenium模块正则解析实现对斗鱼直播数据抓取并持久化存储

2020-06-02 05:31 495 查看

本次通过selenium插件来实现爬虫,selenium个人感觉还是很不错的,官方文档,其实看文档还是很有用的,这个习惯可以有

首先老规矩分析目标网站
目标网站:斗鱼直播 https://www.douyu.com/directory/all
目标数据:直播间名称,直播间类型,主播名称,房间人数(这个不清楚到底是个啥,反正数值很大)
1,首先做个架子

2,分析目标网站

打开开发者模式之后,点击小箭头然后鼠标点击哪里,对应的元素就会高亮,我们先找到目标元素的位置,我这里用的正则去匹配的

其实还有很多的匹配元素的方法呀,基本上我都试过,看个人喜好吧,感兴趣的可以去试一下,这些都不是重点,重点是翻页,斗鱼直播点击下一页的时候它不会跳转的,还有就是你要是一直往下爬的话,你停止的条件时什么,总不能爬取一页吧,这里我们看下网页元素

这里可以看到,点击下一页的这个动作,可以由这个span标签的值来执行,我们再去看span上一级 li标签内有个属性的值 是 ‘false’是吧,我翻到最后一页看过,到最后一页还是会有这个span标签,但是这个li 标签内的 false 就变为 true了,我想到这里大家应该明白,这个值可以作为一个来判断是否是最后一页的标准了
(我是这么想的,也是这么做的,有想法的可以去试下…)

这里我们可以总结一下,当 li 标签内的aria-disabled属性的值=false的话,即代表还有下一页,我们可以点击span标签翻页,当aria-disabled属性的值= true 的话,即代表没有 下一页了,暂时先这样理解吧,到底行不行,实践出真知,要善于提出合理性的假设…

我是先做出判断,后解析数据,这里做判断的时候我是在谷歌上面直接将xpath路径直接复制过来的,将鼠标移至元素位置 右击-copy-copy xpath即可,这样稳妥一点,先上一波源码,其实还可以优化下

from selenium import webdriver
import re
import time

class DouSpider(object):

def __init__(self):
self.url = 'https://www.douyu.com/directory/all'
self.driver_path = r'E:\DownloadFile\chromedriver.exe'
self.driver = webdriver.Chrome(executable_path=self.driver_path)

def get_page(self):
data = self.driver.page_source
patter = re.compile('<li class="layout-Cover-item">.*?<'
'span class="DyListCover-zone">(.*?)'
'</span>.*?title="(.*?)".*?</svg>(.*?)'
'</span>.*?</svg>(.*?)</h2>', re.S)
data_list = re.findall(patter, data)
dict_data = []
for i in data_list:
anchor = {'type': i[0].strip(), 'room_name': i[1].strip(), 'peoples': i[2].strip(), 'name': i[3].strip()}
dict_data.append(anchor)
return dict_data

def next_page(self):
pass

def save_data(self):
pass

def run(self):
self.driver.get(self.url)
time.sleep(3)
# 判断是否有下一页
li = self.driver.find_element_by_xpath('//*[@id="listAll"]/section[2]/div[2]/div/ul/li[9]')
lis = li.get_attribute("aria-disabled")
while 'false' in lis:
# 解析数据
data = self.get_page()
print(data)
time.sleep(2)
# 点击翻页
div = self.driver.find_element_by_xpath('//span[contains(text(), "下一页")]')
div.click()

if name == ‘main’:
spider = DouSpider()
spider.run()

结果还是有的,翻到20多页我就停了,后续可以存储到mysql中…

这个代码问题还是有,还有优化空间,整个动图瞅一眼效果咋样,还希望大家留言多多指教…
(这里还需要补充一点,在程序的末尾,我忘记退出浏览器了,应该在 while循环外部 加一个self.driver.quit())

补充完善:
今天优化并补全代码,将抓取到的数据建库存档
首先要先在建立好数据库,这里最好是在数据库里面自己操作比较好,然后在代码里面我们只需要连接就好了,这里代码中添加了一个插入sql语句的函数

然后在解析函数这里实现调用,解析一行存储一行

特别注意一点,这里存储的时候很容易报错:1366-Incorrect string value:’\xE6\x9D\x8E\xE5\xAD\xA6…'for column ‘name’ at row 1,我找了很多资料,要把数据库 和表还有字段的编码格式都改成utf8即可,
修改字段编码格式:
alter table anchor_page change 字段 字段 varchar(255) character set utf8;
修改表编码格式:
alter table 表名 default character set utf8;
修改库编码格式:
alter database 库名 character set utf8
代码运行完成之后查看数据库结果

这里还是把修改过的代码放上来
from selenium import webdriver
import re
import time
from pymysql import connect

class DouSpider(object):

def __init__(self):
self.url = 'https://www.douyu.com/directory/all'
self.driver_path = r'E:\DownloadFile\chromedriver.exe'
self.driver = webdriver.Chrome(executable_path=self.driver_path)
self.conects = connect(host='localhost', port=3306, user='root', password='19940825', database='test', charset='utf8')
self.cursors = self.conects.cursor()

# 解析数据
def get_page(self):
list_ls = []
data = self.driver.page_source
patter = re.compile('<li class="layout-Cover-item">.*?<'
'span class="DyListCover-zone">(.*?)'
'</span>.*?title="(.*?)".*?</svg>(.*?)'
'</span>.*?</svg>(.*?)</h2>', re.S)
data_list = re.findall(patter, data)

for i in data_list:
# 将一页的数据按条取出
one_list = [i[0].strip(), i[1].strip(), i[2].strip(), i[3].strip()]
#  将数据存储
self.save_data(one_list)

# 判断下一页是否有数据,有则点击下一页
def next_page(self):
pass

# 保存数据到数据库
def save_data(self, data):
try:
sql = '''insert into anchor_page values (0, %s, %s, %s, %s);'''
self.cursors.execute(sql, data)
self.conects.commit()
except Exception as f:
print(f)

def run(self):
self.driver.get(self.url)
time.sleep(3)
# self.create_tables()
# 判断是否有下一页
li = self.driver.find_element_by_xpath('//*[@id="listAll"]/section[2]/div[2]/div/ul/li[9]')
lis = li.get_attribute("aria-disabled")
page = 1
while 'false' in lis:

# 解析数据
self.get_page()
# 存储数据
print('第 %s 页数据存储成功......' % page)
page += 1
time.sleep(2)
# 点击翻页
div = self.driver.find_element_by_xpath('//span[contains(text(), "下一页")]')
div.click()
self.cursors.close()
self.conects.close()
self.driver.quit()

if name == ‘main’:
spider = DouSpider()
spider.run()

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: