django & celery - 关于并发处理能力和内存使用的小结
背景
众所周知,celery 是python世界里处理分布式任务的好助手,它的出现结合赋予了我们强大的处理异步请求,分布式任务,周期任务等复杂场景的能力。
然鹅,今天我们所要讨论的则是如何更好的在使用celery, 主要讨论的点针是对内存的使用方面。
django & celery & django-celery
楼主的项目中使用的是 celery 和 django 的相结合的方式,版本分别为:
python == 2.7 celery==3.1.25 Django==1.11.7 django-celery==3.2.2
celery 处理并发
项目中使用celery beat 来触发定时任务;并且根据业务需求,分别使用了2个 celery worker 来处理异步请求。
在开发环境下,操作系统有4个processors, 内存为8GB。在默认情况下,启动celerycelery beat 和 两个 worker 后,并发情况如下:
可以看到,默认情况下,celery 会根据processor的数量(4个)来启动相应数量的worker。
celery 允许我们通过配置 ‘CELERYD_CONCURRENCY ’ 来 控制 celery worker 并发数 。
当修改celery worker 为 tasksWorker 的 worker 的配置为: CELERYD_CONCURRENCY = 2 后,worker数量如下图:
我们可以看到, 只有 2个 worker 被启动。
celery worker 关于内存
网上有不少帖子分析过 celery worker 对于内存的使用,发现worker在处理完任务后并没有释放内存。但是,celery提供了一个配置允许我们制定每个worker处理任务的最大数量 (CELERYD_MAX_TASKS_PER_CHILD),当一个worker处理任务的数量到达制定数量后,celery会销毁该worker并且重新启动一个新的。
当 CELERYD_MAX_TASKS_PER_CHILD = 5 时,worker运行多次后,可以看到 旧的worker 被销毁,新的 worker 被启动。
旧的 worker :
新的 worker :
此外,当我们结合使用 django 和 celery是,需要关闭 Debug 配置,因为开启会引起celery beat 的 memory leak。 详细描述请看:https://stackoverflow.com/questions/45366680/celerybeat-process-consumes-all-os-memory
- 关于并发下内存及CPU使用情况的思考
- 关于使用Django admin模块插入中文时乱码的处理方法
- Django 使用celery做异步任务处理
- 如何使用Celery在DRF(Django rest framework)中提高服务器并发实现
- 关于Django中异步Celery的使用
- 在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题。该模式通过平衡生产线程和消费线程的工作能力来提高程序的整体处理数据的速度。
- 关于windows下django使用celery实现异步调用(RabbitMQ)
- 关于SQL SERVER的内存使用的问题
- VC++中使用内存映射文件处理大文件
- VC++中使用内存映射文件处理大文件
- VC++中使用内存映射文件处理大文件
- VC++中使用内存映射文件处理大文件
- Entity framework:关于并发处理的一点建议
- VC++中使用内存映射文件处理大文件
- VC++中使用内存映射文件处理大文件
- VC++中使用内存映射文件处理大文件
- VC++中使用内存映像文件处理大文件
- HTMLParser使用详解(5)- 扩展 HTMLParser 对自定义标签的处理能力
- 关于使用HttpModule模块处理登录验证示例
- 关于网站大并发情况下的数据的初始化如何处理。