用Celery处理任务，系统响应快到飞起！

本文链接：https://blog.csdn.net/m290345792/article/details/148657908

本文在创作过程中借助 AI 工具辅助资料整理与内容优化。图片来源网络。

在这里插入图片描述

文章目录

引言
一、Celery 简介
- 1.1 分布式系统与任务队列的崛起
- 1.2 Celery 的魅力
二、Celery 工作原理
- 2.1 工作流程概述
- 2.2 消息传递与异步处理
三、Celery 核心代码分析
四、Celery 应用场景
五、总结

引言

大家好，我是沛哥儿。
在互联网技术日新月异的今天，分布式系统已成为现代软件开发的中流砥柱。就像一个大型的交响乐团，各个乐器（组件）需要协同演奏，才能奏出美妙的乐章。而在这个复杂的交响乐团中，任务队列就像是指挥棒，引导着任务的有序执行，确保整个系统的和谐运转。

Celery，作为一个基于分布式消息传递的开源任务队列框架，就如同一位技艺高超的指挥家，支持跨平台、跨语言，且易于使用，在众多分布式系统中崭露头角。今天，咱就来探究它是如何在分布式的世界里翩翩起舞的。
在这里插入图片描述

一、Celery 简介

1.1 分布式系统与任务队列的崛起

随着互联网用户数量的爆炸式增长，传统的单体应用已经难以满足高并发、高性能的需求。分布式系统应运而生，它将一个大型的应用拆分成多个小的服务，每个服务独立部署、独立运行，通过网络进行通信。

然而，在分布式系统中，如何合理地分配任务、高效地处理任务成为了一个难题。任务队列作为一种异步处理机制，就像一个高效的快递员，将任务按照一定的规则分配给合适的执行者，从而提高系统的响应速度和并发能力。

1.2 Celery 的魅力

Celery 正是在这样的背景下诞生的，它是一个基于分布式消息传递的开源任务队列框架。它就像是一个万能工具箱，支持跨平台、跨语言，无论是 Windows、Linux 还是 macOS，无论是 Python、Java 还是其他语言，都能轻松驾驭。

而且，Celery 可以处理各种任务，包括定时任务、周期性任务、重复任务等。它还可以与各种消息代理（如 RabbitMQ、Redis 等）和数据库（如 PostgreSQL、MySQL 等）集成，从而实现任务的持久化和监控。

二、Celery 工作原理

在这里插入图片描述

2.1 工作流程概述

Celery 的工作原理可以概括为以下四个步骤，就像一场接力赛：

客户端发送任务到消息代理（Broker）
消息代理将任务发送到 Celery Worker
Celery Worker 执行任务并将结果返回给消息代理
消息代理将结果返回给客户端

下面的时序图，展示了 Celery 的工作流程：

2.2 消息传递与异步处理

在这个过程中，Celery 使用了消息传递和任务队列来异步处理任务。消息传递就像是快递的物流系统，确保任务能够准确无误地从客户端传递到 Worker；任务队列就像是一个任务仓库，将任务按照一定的顺序进行存储和管理。

通过异步处理，客户端在发送任务后不需要等待任务执行完成，可以继续处理其他业务，从而提高了系统的响应速度和并发能力。

三、Celery 核心代码分析

3.1 Broker

Broker 是 Celery 的消息代理，负责接收客户端发送的任务并将其发送给 Worker。它就像是一个交通枢纽，管理着任务的流向。

Celery 支持多种消息代理，如 RabbitMQ、Redis 等。下面以 RabbitMQ 为例，分析 Broker 的核心代码：

from kombu import Connection, Exchange, Queue

class RabbitMQBroker:
    def __init__(self, url):
        # 建立与 RabbitMQ 的连接
        self.conn = Connection(url)
        # 创建一个交换机
        self.exchange = Exchange('celery', type='direct')
        # 创建一个队列
        self.queue = Queue('celery', exchange=self.exchange, routing_key='celery')

    def send_task(self, task, args):
        # 使用生产者发送任务
        with self.conn.Producer() as producer:
            producer.publish(
                args,
                exchange=self.exchange,
                routing_key='celery',
                serializer='json'
            )

    def receive_task(self):
        # 从队列中接收任务
        with self.conn.SimpleQueue('celery') as queue:
            for message in queue:
                yield message.payload

在这段代码中，我们定义了一个 RabbitMQBroker 类，它有三个主要的方法：__init__ 用于初始化连接、交换机和队列；send_task 用于发送任务；receive_task 用于接收任务。

3.2 Worker

Worker 是 Celery 的任务执行者，负责从 Broker 接收任务并执行。它就像是一个勤劳的小蜜蜂，不停地从 Broker 那里领取任务并完成。

Celery Worker 的核心代码如下：

from celery import Worker

class CeleryWorker:
    def __init__(self, broker, backend):
        # 初始化 Broker 和 Backend
        self.broker = broker
        self.backend = backend
        # 创建 Worker 实例
        self.worker = Worker(broker, backend)

    def start(self):
        # 启动 Worker
        self.worker.start()

    def stop(self):
        # 停止 Worker
        self.worker.stop()

在这段代码中，我们定义了一个 CeleryWorker 类，它有三个主要的方法：__init__ 用于初始化 Broker 和 Backend，并创建 Worker 实例；start 用于启动 Worker；stop 用于停止 Worker。

3.3 Backend

Backend 是 Celery 的任务结果存储器，负责存储任务执行结果。它就像是一个仓库，将 Worker 执行任务的结果妥善保存起来，以便客户端随时查询。

Celery 支持多种 Backend，如 RabbitMQ、Redis 等。下面以 Redis 为例，分析 Backend 的核心代码：

import redis

class RedisBackend:
    def __init__(self, url):
        # 建立与 Redis 的连接
        self.conn = redis.Redis.from_url(url)

    def get_result(self, task_id):
        # 从 Redis 中获取任务结果
        return self.conn.get(task_id)

    def set_result(self, task_id, result):
        # 将任务结果存储到 Redis 中
        self.conn.set(task_id, result)