python并发分布式框架Celery搭建
最近项目用到一个好东西,分享给大家,简单,有效,这就是我的感受!先来个图
Celery的架构由三部分组成,消息中间件(message broker),任务执行单元(worker)和任务执行结果存储(task result store)组成。消息中间件Celery本身不提供消息服务,但是可以方便的和第三方提供的消息中间件集成。包括,RabbitMQ, Redis, MongoDB (experimental), Amazon SQS (experimental),CouchDB (experimental), SQLAlchemy (experimental),Django ORM (experimental), IronMQ最简单的当属Redis,5分钟内搭建好一个并发分布式框架!任务执行单元Worker是Celery提供的任务执行的单元,worker并发的运行在分布式的系统节点中。任务结果存储Task result store用来存储Worker执行的任务的结果,Celery支持以不同方式存储任务的结果,包括AMQP, Redis,memcached, MongoDB,SQLAlchemy, Django ORM,Apache Cassandra, IronCacheOK 直接来个立即能跑的demo吧。0、安装celery/redis #yum install redis #安装redis消息队列服务
#pip install celery #安装celery框架
#pip install redis #使用redis作为celery的broker时需要安装redis的python库(性能和RabbitMQ相当[erlang实现])
1、worker脚本tasks.pyfrom celery import Celery
import subprocess
brokers = 'redis://127.0.0.1:6379/1'
backend = 'redis://127.0.0.1:6379/2'
app = Celery('tasks', broker=brokers, backend=backend)
@app.task
def shell_popen(cmd):
proc = subprocess.Popen(cmd, shell=True) #stdout=subprocess.PIPE
return proc.pid
@app.task
def shell_check_output(cmd):
return subprocess.check_output(cmd, shell=True)
if __name__ == "__main__":
app.start()
2、任务创建脚本process.py
from tasks_proxy_requests import rpc_shell_popen
from tasks_proxy_requests import rpc_shell_check_output
cmd="ifconfig"
result = shell_check_output.delay(cmd)
while not result.ready():
time.sleep(0.01)
out= result.get()
print out
[root@mcuhome abin]#/usr/bin/celery -A tasks worker --loglevel=info -c 10 #创建10个worker并发,等待任务处理
[root@mcuhome abin]#./process.py #显示print out的结果
附:Celery异常处理
celery提示Missing redis library,安装升级python redis库
File "/usr/local/lib/python2.7/site-packages/kombu/connection.py", line 576, in create_transport
return self.get_transport_cls()(client=self)
File "/usr/local/lib/python2.7/site-packages/kombu/transport/redis.py", line 1009, in __init__
raise ImportError('Missing redis library (pip install redis)')
[root@mcuhome celery]# pip2.7 install redis --upgrade
Collecting redis
Downloading redis-2.10.6-py2.py3-none-any.whl (64kB)
100% |████████████████████████████████| 71kB 295kB/s
Installing collected packages: redis
Successfully installed redis-2.10.6
要想成为一个出色的程序员,请前往IT搜123 www.itso123.com了解,搜集各种必备网站的程序员导航。
- python学习[4]: 用python celery + rabbitMQ搭建并行分布式框架及验证
- Python 并行分布式框架:Celery 超详细介绍
- Python 并行分布式框架之 Celery
- 实战搭建Gearman 分布式处理框架 + python客户端
- 【实战\聚焦Python分布式爬虫必学框架Scrapy 打造搜索引擎项目笔记】第2章 windows下搭建开发环境
- Python并行分布式框架Celery详解
- Python 并行分布式框架 Celery
- 搭建python2.7环境、python与eclipse配置、以及安装Flask框架,建立web项目
- [原创] 分布式系统框架搭建 PartOne-.net Remoting
- Appium Python behave 自动化测试框架搭建(3) - Environment.py
- centos7.2下搭建python web框架Django环境资料
- python之高性能网络编程并发框架eventlet实例
- 搭建基于SSM的分布式电子商城的框架开源方便大家二次开发(已解决跨域问题)
- 基于Python,scrapy,redis的分布式爬虫实现框架
- Python+Django+Bootstrap 框架环境搭建
- python的分布式爬虫框架
- ubuntu安装python集成环境Anaconda,并搭建tensorflow学习框架
- 30分钟搭建Python的Flask框架并在上面编写第一个应用
- python3 部署celery异步框架并后台运行(daemon)
- 初试Gevent – 高性能的Python并发框架