merlon学习笔记

在高并发的 Web 应用中，Redis 作为缓存系统至关重要。使用连接池可以有效避免频繁创建和销毁 Redis 连接的性能瓶颈。本文介绍了如何在 FastAPI 中通过 `aioredis` 实现异步操作并使用连接池来优化 Redis 的访问。通过设置连接池的最小和最大连接数，可以高效管理 Redis 连接，提升应用性能，简化代码结构。这种方法特别适合需要频繁与 Redis 交互的场景，帮助构建高效、可扩展的 Web 应用。

本文详细介绍了如何在 FastAPI 中使用异步方式访问 Redis，包括 Redis 连接的创建、数据的增删查改、键过期、使用管道操作和事务管理等内容。通过使用aioredis库，结合 FastAPI 提供的异步支持，可以高效地处理缓存数据，提升系统性能。希望本文对你在项目中使用 Redis 提供了帮助。

本文详细讲解了如何在 FastAPI 中使用 SQLAlchemy ORM 来完成 MySQL 数据库的增删查改操作，利用异步的数据库引擎和会话机制，让应用在高并发场景下保持高效。通过 SQLAlchemy ORM，我们不仅可以简化数据库操作，还能提高代码的可读性和维护性。在实际开发中，采用 ORM 方式进行数据访问，是开发者处理数据库交互的常见做法。

Pydantic 是 FastAPI 的核心库，用于数据验证和序列化。通过基于 Python 类型注解的模型定义，Pydantic 可以自动验证请求数据的类型和格式，并提供详细的错误信息。它支持字段约束、嵌套模型、数据转换等功能，简化了数据处理流程。结合 FastAPI，Pydantic 帮助开发者高效构建高性能、类型安全的 API，确保数据一致性和代码的可维护性。

使用 FastAPI 创建基本 API 服务。运行和测试同步与异步 API。了解 FastAPI 提供的自动文档和异步支持。

在 Python 中，协程是一个可以暂停执行并在以后恢复执行的函数。你可以通过async def来定义一个协程函数，而await用于暂停协程的执行，直到某个异步操作完成。异步编程的核心优势是能够并发地执行 I/O 密集型任务，而不需要阻塞主线程。例如，进行大量的文件读写或网络请求时，异步编程能够帮助你高效地利用系统资源，提高程序的响应速度。done（已完成的任务）和pending（未完成的任务）。可以通过控制何时返回，支持以下选项：：等待所有任务完成。：等待第一个任务完成。

在 Python 的异步编程中，`asyncio` 提供多种同步原语，用于协程之间的协调与资源共享。本文聚焦于四种核心工具：`Lock` 用于互斥访问共享资源，`Event` 实现任务间的信号传递，`Condition` 协调任务在特定条件下运行，而 `Semaphore` 限制并发任务的数量。这些工具能帮助开发者高效解决竞争条件、优化任务调度，为异步应用提供强大的控制能力。

`select`、`poll` 和 `epoll` 是三种常用的 I/O 多路复用机制，用于在一个线程中同时处理多个文件描述符（如网络连接）。`select` 是最早的实现，性能在高并发情况下有限，`poll` 改进了这一点，但依然存在性能瓶颈。`epoll` 是 Linux 专有的高效解决方案，支持事件驱动模型，特别适合高并发网络应用。选择哪种机制依赖于应用的需求和操作系统平台。

I/O 多路复用是一种高效的输入/输出管理技术，允许单个线程或进程同时处理多个 I/O 操作。它通过使用 `select`、`poll`、`epoll` 等系统调用，避免在等待 I/O 操作时阻塞进程，从而提高并发处理能力。I/O 多路复用常用于高并发的网络服务、实时数据处理和资源受限环境中。其主要优势在于高效地利用系统资源，减少线程/进程的创建和上下文切换，适用于 Web 服务器、聊天系统等场景。

迭代器生成器

本文将深入探讨 Python 中的进程、线程和协程，分析它们之间的区别与联系。我们将介绍每种并发模型的工作原理、优缺点及适用场景，帮助开发者在不同场景下做出合适的并发选择。通过具体示例，本文还将阐述如何在 Python 中高效地使用进程、线程和协程进行并发编程，以及使用时需要注意的事项。

同步、异步、并发和并行是描述任务执行方式的不同概念。**同步**任务按顺序执行，每个任务需等待前一个完成；**异步**则允许任务在等待时执行其他任务，提升效率。**并发**是指程序可以管理多个任务的执行，任务之间交替进行；**并行**则是在多个处理器核心上同时执行任务，充分利用计算资源。理解这些概念帮助选择合适的编程模型，提高程序性能和响应速度。

celery支持Prefork, Eventlet, gevent, threads/single threaded集中方式的并发，但在window上不支持Prefork，因此我在使用gevent或则eventlet的时候经常碰到worker在执行任务时，状态为offline，解决方法：将并发方式改为threads即可，代码如下：celery -A tasks.tasks worker -P eventlet # 上面的并发方式为单线程，有时会阻塞，导致不能获取worker状态，改为下面即可解决.

Setting nameReplace with说明CELERY_ACCEPT_CONTENTaccept_contentCELERY_ENABLE_UTCenable_utcCELERY_IMPORTSimportsCELERY_INCLUDEincludeCELERY_TIMEZONEtimezoneCELERYBEAT_MAX_LOOP_INTERVALbeat_max_loop_intervalCELERYBEAT_S...

celerty自定义队列demo_queue,然后使用命令以下命令启动没问题celery -A tasks.tasks worker -P eventlet -Q queue_common -l debug使用下面方式启动收不到任务app.worker_main(argv=[ 'worker', '--loglevel=info', '--pool=threads', '--concurrency=100', '-Q d

当我们碰到io密集型场景中又有cpu密集型任务的时候，我们可以采用此种同步服务端+异步客户端的方案。例如，当我们使用fastapi提供对外服务时，不仅有普通的对数据库增删查改等io操作，还有大量的本地数据计算等cpu型任务，那么我们可以把cpu型任务使用gprc封装成服务端，同时提供异步grpc客户端给fastapi调用，这样一来，虽然cpu计算还是那么慢，但是fastapi本身由于不被cpu任务拖累，却可以接受更多的io操作。