Python 用Redis简单实现分布式爬虫的方法
2017-11-23 09:52
1246 查看
Redis通常被认为是一种持久化的存储器关键字-值型存储,可以用于几台机子之间的数据共享平台。
连接数据库
注意:假设现有几台在同一局域网内的机器分别为Master和几个Slaver
Master连接时host为localhost即本机的ip
_db = redis.Reds(host='localhost', port=6379, db=0)
Slaver连接时的host也为Master的ip,端口port和数据库db不写时为默认值6379、0
_db = redis.Redis(host='192.168.235.80')
Redis含列表、集合,字符串等几种数据结构,具体详细的几种数据结构的操作命令可查看Redis官网http://redis.io/commands,下面是对集合进行操作的一些命令
_db.sadd(key, *values) # 插入指定values到集合中并返回新插入的的值的数量 _db.spop(self.key) # 随机从集合中的得到一个元素将其从集合中删除并作为返回值返回 _db.smembers(self.key) # 返回集合的所有元素 _db.delete(key) # 删除整个集合, 成功返回1, 失败返回0 _db.srandmember(self.key) # 从集合中随机选取一个元素作为返回 _db.sismember(self.key, value) # 判断指定value是否在本集合中,成功返回1,失败返回0
例如,Master可利用redis将url上传到数据库
for i in range(20): # 将需爬取的糗事百科前20页的url并存入urls集合 url = 'http://www.qiushibaike.com/hot/page/%d/' % (i + 1) _db.sadd('urls', url) # 将url插入关键字urls集合中,若url已存在则不再插入
进而Master和Slaver可从数据库里获取url
url = _db.spop('urls') # 随机从urls集合中取出一个url返回并将其删去
同理,Master可利用上面的方法将其他一些共用的资源上传到数据库,Slaver就可从数据库下载需要的东西。下面是一个完整的例子
# coding=utf-8 import urllib2 import re import time import redis headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/49.0.2623.108 Chrome/49.0.2623.108 Safari/537.36'} job_redis = redis.Redis(host='192.168.235.80') # host为主机的IP,port和db为默认值 class Clawer(object): identity = 'master' # 或slaver def __init__(self): if self.identity == 'master': for i in range(20): # 将需爬取的糗事百科前20页的url并存入urls集合 url = 'http://www.qiushibaike.com/hot/page/%d/' % (i + 1) job_redis.sadd('urls', url) self.main() def get_content(self): """ 从糗事百科中获取故事 :return: 故事列表 """ stories = [] content_pattern = re.compile('<div class="content">([\w\W]*?)</div>([\w\W]*?)class="stats"') # 匹配故事内容(第一空)和是否含有图片(第二空)的模板 pattern = re.compile('<.*?>') # 匹配包括括号及括号内无关内容的模板 url = job_redis.spop('urls') while url: # 当数据库还存在网页url,取出一个并爬取 try: request = urllib2.Request(url, headers=headers) response = urllib2.urlopen(request) text = response.read() except urllib2.URLError, e: # 若出现网页读取错误捕获并输出 if hasattr(e, "reason"): print e.reason content = re.findall(content_pattern, text) # 获取含模板内容的列表 for x in content: if "img" not in x[1]: # 过滤含图片的故事 x = re.sub(pattern, '', x[0]) x = re.sub('\n', '', x) stories.append(x) url = job_redis.spop('urls') time.sleep(3) return stories def main(self): self.get_content() if __name__ == '__main__': Clawer()
将此代码在几台机器同时运行,调节其身份为master或slaver,做到简单的分布式爬虫
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。
您可能感兴趣的文章:
- python中redis查看剩余过期时间及用正则通配符批量删除key的方法
- python操作redis方法总结
- Python实现的redis分布式锁功能示例
- Python操作Redis之设置key的过期时间实例代码
- python实现redis三种cas事务操作
- python脚本实现Redis未授权批量提权
- 在Python中使用AOP实现Redis缓存示例
- python笔记:mysql、redis操作方法
- Windows下安装Redis及使用Python操作Redis的方法
- python中redis的安装和使用
- Python的Flask框架使用Redis做数据缓存的配置方法
- Python的Flask框架应用调用Redis队列数据的方法
- python安装与使用redis的方法
- Python使用redis pool的一种单例实现方式
- Python使用Redis实现作业调度系统(超简单)
- python操作redis的方法
- Redis的Python客户端redis-py安装使用说明文档
- Python连接Redis的基本配置方法
相关文章推荐
- Python爬虫----基础知识(简单爬虫架构、URL管理器和实现方法)
- Python入门简单的静态网页爬虫2.0 (实现各模块的具体方法)
- Python爬虫----基础知识(简单爬虫架构、URL管理器和实现方法)
- Python之Scrapy框架Redis实现分布式爬虫详解
- 基于Python,scrapy,redis的分布式爬虫实现框架
- 基于Python使用scrapy-redis框架实现分布式爬虫 注
- 基于Python,scrapy,redis的分布式爬虫实现框架
- 基于Python+scrapy+redis的分布式爬虫实现框架
- 简单爬虫python实现02——BeautifulSoup的使用
- python的tkinter布局之简单的聊天窗口实现方法
- kNN算法python实现和简单数字识别的方法
- Python单链表的简单实现方法
- kNN算法python实现和简单数字识别的方法
- Python实现爬取知乎神回复简单爬虫代码分享
- Python实现抓取页面上链接的简单爬虫分享
- 1. python实现简单爬虫功能
- Python单链表的简单实现方法
- python实现简单爬虫功能
- scrapy-redis实现爬虫分布式爬取分析与实现
- 缓存篇~第七回 Redis实现基于方法签名的数据集缓存(可控更新,分布式数据缓存)