cliffordl的专栏

流式响应在大模型服务中可大大提高用户体验，在 Python 中主要有两种方式实现流式响应，即fastapi 的 StreamingResponse和SEE 模块的 EventSourceResponse，既然两者都可以实现流式响应，那么我们在实际应用中应该如何选择呢？

次要参考：https://blog.csdn.net/gitblog_00079/article/details/139587558https://blog.csdn.net/gitblog_00626/article/details/141801526https://www.cnblogs.com/kaibindirver/p/18755942https://juejin.cn/post/7088892051470680078https://cloud.tencent.com/developer/

Eventloop 是 asyncio 应用的核心，把一些异步函数注册到这个事件循环上，事件循环会循环执行这些函数。当执行到某个函数时，如果它正在等待 I/O 返回（如它正在进行网络请求，或者 sleep 操作），事件循环会暂停它的执行去执行其他的函数；当某个函数完成 I/O 后会恢复，下次循环到它的时候继续执行。因此，这些异步函数可以协同（Cooperative）运行：这就是事件循环的目标。主线程和跑的协程函数是在同一个线程中。

在 python 中，一边循环一边计算的机制，称为生成器：generator.内部函数对外部函数作用域里变量的引用（非全局变量），则称内部函数为闭包。**闭包三要素：**嵌套函数，变量的引用，返回内部函数# 定义一个嵌套函数（要素1）# 内部函数引用外部函数的变量（非全局变量）（要素2）# 返回的结果可以被打印出来# 返回内部的函数（要素3）# 这里的rtn就是 test_inprint(rtn)# 内部函数test_in传参sum=30(10, 20)

协程，又称微线程，纤程。英文名Coroutine。协程不是计算机提供的，是人为创造的上下文切换技术，也可以被称为微线程。简而言之 其实就是在一个线程中实现代码块相互切换执行。

1. 使用 fastapi api 的形式处理任务，每个任务使用协程的方式，处理多个流式输出。该方式支持多个 fastapi 并发请求。2. 开启多个线程执行任务，每个任务使用协程的方式，处理多个流式输出。