llf_cloud的博客

Django 异步任务和定时任务在 web 开发中，我们经常需要将一些任务做成异步任务来提高页面的加载速度或者效率（如文件上传、发送邮件等），这样用户的就用化大量的时间来等待结果了，可以正常处理自己需要处理的事务，等待异步操作完成后给予异步的结果就可以了。定时任务也同理。在之前异步任务我们一般使用多线程或者多进程完成，但是这样的效率不高，维护难度也比较大，所以下面我们使用一个第三方提供的用于异步...

Python3.7celery5.0.5celeryCelery 是一个简单，灵活，可靠的分布式系统，用于处理大量消息，同时为操作提供维护此类系统所需的工具。它是一个任务队列，专注于实时处理，同时还支持任务调度。安装模块pip install celery==5.0.5pip install redis=3.5.3 # redis作为backend，需安装驱动模块异步任务import timefrom celery import Celerybroker = 'pyamqp:.

我们启动celery基本命令为：celery -A mytask worker --loglevel=info当以此命令启动celery后，celery默认情况下执行任务会有个预取机制（prefetching），预取是什么呢，如下一张图：我们假设有两个worker，但当任务量较多的时候，celery有个任务队列，每个wroker执行完了，就从这个队列中取任务接着执行。但当有预取机制时，队列中每个task，有了自己的明确限制，就是我这个任务需要指定的worker去执行，就算其他worker是空闲状态