飞速接入大模型，实现流式调用接口

已于 2024-10-14 12:56:43 修改
阅读量2.6k 收藏 33
点赞数 11
CC 4.0 BY-SA版权
分类专栏： 大模型 文章标签： 语言模型 aigc java
于 2024-10-14 12:55:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57334678/article/details/142915617

前言

在当今技术飞速发展的时代，大模型（Large Language Models, LLMs）已经成为热门话题，应用场景涵盖了自然语言处理、图像生成、智能客服等各个领域。特别是像GPT这样的生成式AI模型，正被越来越多的企业引入到自己的业务系统中。然而，面对如此庞大的模型和复杂的请求，如何实现实时、流式地获取模型响应成为了一个关键问题。

本文将向大家介绍如何通过流式调用接口技术，将大模型的能力快速接入到现有的系统中，实现实时返回的效果。我们将结合text/event-stream和WebFlux响应式编程，展示如何高效调用第三方大模型API，并将数据流式返回给前端。

前置知识

1. text/event-stream流式调用

text/event-stream 是一种轻量级的服务器推送技术，通过 HTTP 协议实现服务端向客户端发送实时更新消息。它允许服务器在一个持久连接上连续发送事件，而无需客户端反复轮询，这对于调用大模型等长时间处理任务非常适合。

典型格式：

http
Content-Type: text/event-stream

data: { "response": "数据流..." }
data: { "response": "更多数据..." }

2. WebFlux 响应式编程

WebFlux 是 Spring 5 中引入的一种异步、非阻塞的响应式编程框架，旨在支持高并发的请求处理。通过 WebFlux 提供的响应式编程模型，我们可以轻松实现流式数据处理和返回。在流式调用大模型时，WebFlux 可以帮助我们在不阻塞主线程的情况下流畅地处理请求和响应。

实现方式

下面我们将通过一个具体的示例，展示如何快速实现大模型的流式调用接口。

1. 引入依赖

首先，在Spring Boot项目中，我们需要引入 WebFlux 相关依赖。编辑 pom.xml 文件：

xml


复制代码
<dependencies>
    <!-- WebFlux 依赖 -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-webflux</artifactId>
    </dependency>
    
    <!-- 其他相关依赖 -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter</artifactId>
    </dependency>
</dependencies>

2. 实现 WebClient 调用第三方接口

接下来，我们使用 WebFlux 中的 WebClient 调用大模型接口，获取流式返回的数据。

java


复制代码
import org.springframework.http.MediaType;
import org.springframework.stereotype.Service;
import org.springframework.web.reactive.function.client.WebClient;
import reactor.core.publisher.Flux;

@Service
public class LargeModelService {

    private final WebClient webClient;

    public LargeModelService(WebClient.Builder webClientBuilder) {
        this.webClient = webClientBuilder.baseUrl("https://api.large-model.com").build();
    }

    public Flux<String> getModelResponse(String input) {
        return webClient.post()
                .uri("/model/stream")
                .contentType(MediaType.APPLICATION_JSON)
                .bodyValue("{"input": "" + input + ""}")
                .accept(MediaType.TEXT_EVENT_STREAM)
                .retrieve()
                .bodyToFlux(String.class);
    }
}

关键点：

  • WebClient 是 WebFlux 提供的非阻塞客户端，用于调用第三方接口。
  • 使用 text/event-stream 格式接受服务器返回的流式数据。
  • bodyToFlux(String.class) 表示将返回的数据作为流式数据（Flux<String>）进行处理。

3. 返回数据到前端

为了将流式数据返回给前端，我们可以通过 Controller 进行封装。

java


复制代码
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import reactor.core.publisher.Flux;

@RestController
public class LargeModelController {

    private final LargeModelService largeModelService;

    public LargeModelController(LargeModelService largeModelService) {
        this.largeModelService = largeModelService;
    }

    @GetMapping(value = "/model/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<String> streamModelResponse(@RequestParam String input) {
        return largeModelService.getModelResponse(input);
    }
}

关键点：

  • 通过 @GetMapping 将请求映射到 /model/stream 接口上。
  • produces = MediaType.TEXT_EVENT_STREAM_VALUE 确保返回的数据是 text/event-stream 格式的流式数据。
  • Flux<String> 用于将流式响应传递给前端，前端可以逐步接收和展示模型的输出。这里不能使用Mono，否则你会发现你调用你自己接口的时候会等到第三方接口的流全部都返回了，然后你才会像你的前端返回接口

4. 前端处理流式数据

前端通过 EventSource 接口接收流式数据，并实时展示。## 前言

在当今技术飞速发展的时代，大模型（Large Language Models, LLMs）已经成为热门话题，应用场景涵盖了自然语言处理、图像生成、智能客服等各个领域。特别是像GPT这样的生成式AI模型，正被越来越多的企业引入到自己的业务系统中。然而，面对如此庞大的模型和复杂的请求，如何实现实时、流式地获取模型响应成为了一个关键问题。

本文将向大家介绍如何通过流式调用接口技术，将大模型的能力快速接入到现有的系统中，实现实时返回的效果。我们将结合text/event-stream和WebFlux响应式编程，展示如何高效调用第三方大模型API，并将数据流式返回给前端。

前置知识

1. text/event-stream流式调用

text/event-stream 是一种轻量级的服务器推送技术，通过 HTTP 协议实现服务端向客户端发送实时更新消息。它允许服务器在一个持久连接上连续发送事件，而无需客户端反复轮询，这对于调用大模型等长时间处理任务非常适合。

典型格式：

http


复制代码
Content-Type: text/event-stream

data: { "response": "数据流..." }
data: { "response": "更多数据..." }

2. WebFlux 响应式编程

WebFlux 是 Spring 5 中引入的一种异步、非阻塞的响应式编程框架，旨在支持高并发的请求处理。通过 WebFlux 提供的响应式编程模型，我们可以轻松实现流式数据处理和返回。在流式调用大模型时，WebFlux 可以帮助我们在不阻塞主线程的情况下流畅地处理请求和响应。

实现方式

下面我们将通过一个具体的示例，展示如何快速实现大模型的流式调用接口。

1. 引入依赖

首先，在Spring Boot项目中，我们需要引入 WebFlux 相关依赖。编辑 pom.xml 文件：

xml


复制代码
<dependencies>
    <!-- WebFlux 依赖 -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-webflux</artifactId>
    </dependency>
    
    <!-- 其他相关依赖 -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter</artifactId>
    </dependency>
</dependencies>

2. 实现 WebClient 调用第三方接口

接下来，我们使用 WebFlux 中的 WebClient 调用大模型接口，获取流式返回的数据。

java


复制代码
import org.springframework.http.MediaType;
import org.springframework.stereotype.Service;
import org.springframework.web.reactive.function.client.WebClient;
import reactor.core.publisher.Flux;

@Service
public class LargeModelService {

    private final WebClient webClient;

    public LargeModelService(WebClient.Builder webClientBuilder) {
        this.webClient = webClientBuilder.baseUrl("https://api.large-model.com").build();
    }

    public Flux<String> getModelResponse(String input) {
        return webClient.post()
                .uri("/model/stream")
                .contentType(MediaType.APPLICATION_JSON)
                .bodyValue("{"input": "" + input + ""}")
                .accept(MediaType.TEXT_EVENT_STREAM)
                .retrieve()
                .bodyToFlux(String.class);
    }
}

关键点：

  • WebClient 是 WebFlux 提供的非阻塞客户端，用于调用第三方接口。
  • 使用 text/event-stream 格式接受服务器返回的流式数据。
  • bodyToFlux(String.class) 表示将返回的数据作为流式数据（Flux<String>）进行处理。

3. 返回数据到前端

为了将流式数据返回给前端，我们可以通过 Controller 进行封装。

java


复制代码
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import reactor.core.publisher.Flux;

@RestController
public class LargeModelController {

    private final LargeModelService largeModelService;

    public LargeModelController(LargeModelService largeModelService) {
        this.largeModelService = largeModelService;
    }

    @GetMapping(value = "/model/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<String> streamModelResponse(@RequestParam String input) {
        return largeModelService.getModelResponse(input);
    }
}

关键点：

  • 通过 @GetMapping 将请求映射到 /model/stream 接口上。
  • produces = MediaType.TEXT_EVENT_STREAM_VALUE 确保返回的数据是 text/event-stream 格式的流式数据。
  • Flux<String> 用于将流式响应传递给前端，前端可以逐步接收和展示模型的输出。这里不能使用Mono，否则你会发现你调用你自己接口的时候会等到第三方接口的流全部都返回了，然后你才会像你的前端返回接口

4. 前端处理流式数据

前端通过 EventSource 接口接收流式数据，并实时展示。

【AI大模型应用开发】【LangChain系列】9. 实用技巧：大模型的流式输出在 OpenAI 和 LangChain 中的使用
同学小张的博客
03-14 5484
当大模型的返回文字非常多时，返回完整的结果会耗费比较长的时间。如果等待大模型形成完整的答案再展示给用户，明显会给用户不好的体验。所以，现在市面上大多数的AI应用，在给用户结果时，都是以流式输出的方式展示给用户的。今天我们来学习下如何流式输出大模型的返回结果。本文将涵盖 LangChain 的流式输出方式和 OpenAI 原生的流式输出方式。
Http流式响应接口封装
qq_44503377的博客
08-08 1016
需要对接某个大模型的流式http对话接口，因为该项目中还需要对接另外的大模型服务但是另一个请求方式为websocket，为了实现模型服务切换以及对客户端做统一的流式响应，需要对大模型服务的调用做统一的流式响应封装。
SpringBoot大模型流式接口
Good Luck
07-23 1271
【代码】SpringBoot大模型流式接口。
使用Java+SSE实现大模型流式返回前端（完整代码+优化方案）
最新发布
weixin_71209411的博客
06-12 1159
解决核心问题解决大模型响应时间太长，导致HTTP请求超时的问题可在前端实时回显响应流式数据，避免长文本进行长等待后直接输出适用场景对比使用SSE更轻量，且大模型结果属于单向响应，在输出时不需要考虑交互技术延迟双向通信适用场景SSE低单向推送实时日志/进度更新WebSocket极低双向聊天室/高频交互。
使用 OkHttp 或者 WebClient 对接大模型的流式接口
qq_52160831的博客
02-13 5129
如果你已经在使用 Spring Boot，且需要处理流式接口，WebClient 是更推荐的选择。随着大模型（如 GPT、BERT 等）的流行，越来越多的 API 提供商开始提供流式接口，这使得我们能够更高效地处理大规模数据，尤其是在响应体非常大的情况下。第三个回调：请求完成。​ • 如果你只是需要处理简单的流式 HTTP 请求，OkHttp 是一个非常轻量且功能强大的库，适合用于快速集成。协议进行数据流传输，能够以流的方式发送大量的数据块或结果，这对实现低延迟、高吞吐量的请求处理至关重要。
大模型流式调用规范（SSE）
weixin_55010563的博客
04-17 727
如果采用传统的HTTP请求，需要等到模型生成完所有内容再响应给客户端，导致延迟较高。.bodyValue(Map.of("prompt", "介绍一下三国演义", "stream", true))data: {"id":"msg_001","content":"三国演义是中国古代四大名著之一..."}data: {"id":"msg_001","content":"它讲述了东汉末年群雄割据的故事..."}"主要人物包括刘备、关羽、张飞、曹操、孙权等。"prompt": "你好，请介绍一下三国演义。
AI大模型-流式处理 (以百度接口为例)
沉心ss的博客
02-28 1608
No bb , show code 前端代码
Spring Boot实战：流式调用大模型服务
ysy15350的专栏
02-18 941
本文详细介绍了如何使用Spring Boot进行流式调用大模型服务，并展示了在Spring Boot和uniapp端的具体使用方法和代码案例。希望本文对你有所帮助！此方案有一定问题，经测试在获取到全部结果后，uniapp才输出内容，且小程序不支持EventSource，故改为Websocket 方式调用。
纯php接入moonshot大模型api 实现流式返回数据 实现打字效果
qq_15369533的博客
07-21 493
【代码】纯php接入月之暗面api 实现流式返回数据 实现打字效果。
LangChain之模型调用
2401_84495725的博客
06-17 1044
LangChain的模型是框架中的核心，基于语言模型构建，用于开发LangChain应用。通过API调用大模型来解决问题是LangChain应用开发的关键过程。可以把对模型的使用过程拆解成三块:这三块形成了一个整体，在LangChain中这个过程被统称为Model I/O。针对每块环节，LangChain都提供了模板和工具，可以帮助快捷的调用各种语言模型的接口。
【人工智能】Ollama 的 API 操作指南：打造个性化大模型服务
一个被知识诅咒的人
03-21 1077
随着人工智能技术的飞速发展，大型语言模型（LLM）在自然语言处理领域的应用日益广泛。然而，传统的云端模型服务往往面临数据隐私、成本高昂和定制化不足等问题。Ollama 作为一个开源工具，提供了一种在本地运行和管理大型语言模型的解决方案，其内置的 REST API 进一步增强了其灵活性，使得开发者能够轻松构建个性化的 AI 服务。本文将深入探讨 Ollama 的 API 操作指南，从安装配置到 API 的调用，再到构建个性化大模型服务，结合大量代码示例和详细解释，帮助读者掌握这一技术。文章不仅涵盖基础操作，还
在本地运行大模型：使用Xinference与LangChain无缝集成
cgsayuclv的博客
12-05 2157
Xinference提供了在本地设备上运行大型AI模型的可能性，同时与LangChain的无缝集成使得模型的调用与管理变得更加便捷。Xinference官方文档LangChain官方指南。
Ollama+FastAPI+React手把手构建自己的本地大模型，支持SSE
weixin_53880910的博客
06-05 2293
最近大家都在玩**LLM**，我也凑了热闹，简单实现了一个本地LLM应用，分享给大家，百分百可以用哦～^ - ^
SpringBoot基于webflux调用千帆大模型接口获取响应流式输出数据（Content-Type: text/event-stream）
程序员阿华的博客
07-26 2085
【代码】SpringBoot基于webflux调用千帆大模型接口获取响应流式输出数据（Content-Type: text/event-stream）
fastAPI接口（普通流式响应和大模型流式响应）
qq_41298763的博客
12-18 7615
无论是流式还是非流式输出，vllm的LLM函数创建的模型对象通常以同步的方式工作，处理多并发情况时只能以队列形式一个个输出。对于流式输出，它也可以逐步返回数据给前端，但这是假流式，因为后端以及把所有的文本都输出了，然后我们又把文本一个个传给前端。：异步引擎同样可以支持流式和非流式输出，但它允许你以非阻塞的方式处理这些输出。大模型的流式输出（Streaming Output）和非流式输出（Non-streaming Output）是指在生成文本或其他输出时，如何将结果返回给用户或下游系统。
浅谈人工智能之大模型的流式调用：Java 后端实践
测试人，测试魂
10-08 1953
在现代AI应用中，大模型（如阿里云的Qwen、百度的ERNIE等）因其强大的语义理解和生成能力而备受关注。然而，这些模型往往伴随着庞大的计算资源消耗，尤其是对于长时间的对话或大规模文本生成任务。为了解决这一问题，流式调用技术应运而生，它允许开发者以流的方式与模型交互，从而实现实时响应和高效资源管理。本文将详细介绍如何在Java后端中实现大模型的流式调用。
流式接口调用
CTZL123456的博客
06-19 1687
WebSocket和Event-Stream（Server-Sent Events）都是实现实时通信的技术，但是它们各自有不同的优缺点。基于HTTP：Event-Stream基于HTTP协议，因此可以利用现有的HTTP基础设施，如负载均衡和缓存。更少的数据传输量：WebSocket在建立连接后，数据传输时不需要包含HTTP头，因此数据传输量较小。协议复杂：WebSocket的协议相对复杂，需要处理连接、断开连接、心跳等问题。简单易用：Event-Stream的API相对简单，易于使用和理解。
本地部署google大模型并编写程序调用流式输出
quyingzhe0217的博客
04-09 899
ollama 本地部署gemma：2b模型
粘贴可运行：Java调用大模型(LLM) 流式Flux stream 输出；基于spring ai alibaba
m0_74823317的博客
12-09 2534
在当前Java调用大模型时，缺乏优秀的AI应用框架是一个显著的问题。Spring作为老牌的Java应用框架厂商，提出了Spring AI以解决这一问题。它参考了langchain的核心理念，并结合了Java面向对象编程的优势，为开发者提供了统一且灵活的接口来与不同的大模型交互。这种设计使得用户能够轻松切换底层实现，同时享受到由专门团队维护的好处。本次样例将演示如何使用Spring AI Alibaba接入通义大模型，但请记住，一旦掌握了基本配置方法，您也可以方便地更换为自己所需的其他Java大模型实现。
WebClient springboot 处理调用大模型流式接口
03-19
<think>好的，我现在需要回答用户关于如何在Spring Boot中使用WebClient调用大模型的流式接口的问题。首先，我需要回顾一下用户提供的引用内容，特别是引用[3]，里面提到了WebFlux和流式调用大模型的方法。用户希望得到一个示例，所以重点应该放在代码实现上。 首先，我应该确认WebClient的基本用法。WebClient是Spring WebFlux的一部分，用于非阻塞的HTTP请求。流式调用通常涉及处理服务器发送的事件（SSE）或分块传输的数据。大模型的流式响应可能以SSE形式返回，每个数据块逐步传输。 接下来，我需要考虑如何配置WebClient实例。根据引用[3]，需要创建带有响应式支持的WebClient，设置baseUrl，并配置默认的header，比如Content-Type和Authorization，特别是如果大模型API需要认证的话。 然后，处理流式响应。使用WebClient的post方法发送请求，body可能是一个Mono，比如使用BodyInserters.fromValue发送JSON数据。响应应该通过retrieve()获取，然后作为ServerSentEvent的流进行处理。这里需要注意，每个事件的数据可能需要解析，例如JSON对象。 另外，用户可能需要处理每个数据块并最终汇总结果。例如，使用StringBuilder来累积响应内容，并在订阅时触发请求。同时，需要确保主线程不会提前退出，所以可能需要阻塞或等待异步操作完成，这在测试或命令行应用中常见。 还要考虑异常处理，比如在doOnError中记录错误，以及在onComplete中处理完成后的逻辑。此外，引用[3]提到WebFlux的非阻塞特性，确保流式处理不会阻塞主线程，这一点需要在示例中体现出来。 最后，生成相关问题，帮助用户进一步探索，比如如何自定义请求头、处理错误、优化性能等。需要确保所有步骤符合用户的要求，代码语法正确，并且使用中文回答，行内公式用$...$，独立公式用$$...$$，但当前问题不涉及数学公式，所以可能不需要使用。</think>以下是如何在Spring Boot中使用WebClient调用大模型流式接口的详细实现步骤和示例： ### 1. 配置WebClient实例 ```java @Bean public WebClient webClient() { return WebClient.builder() .baseUrl("https://api.largemodel.com/v1/stream") .defaultHeader(HttpHeaders.CONTENT_TYPE, MediaType.APPLICATION_JSON_VALUE) .defaultHeader("Authorization", "Bearer your-api-key") .build(); } ``` *注：需在`application.properties`中配置baseUrl和API密钥更安全* ### 2. 流式响应处理方法 ```java public void streamModelResponse(String prompt) { webClient.post() .uri("/chat/completions") .body(BodyInserters.fromValue(Map.of( "prompt", prompt, "temperature", 0.7, "stream", true ))) .retrieve() .bodyToFlux(ServerSentEvent.class) .timeout(Duration.ofSeconds(30)) .doOnError(WebClientResponseException.class, ex -> log.error("API响应错误: {} {}", ex.getRawStatusCode(), ex.getResponseBodyAsString())) .subscribe( event -> { String data = event.data(); if (!"[DONE]".equals(data)) { JsonNode node = new ObjectMapper().readTree(data); System.out.print(node.get("choices").get(0).get("text").asText()); } }, error -> System.err.println("错误: " + error.getMessage()), () -> System.out.println("\n\n流式传输完成") ); } ``` ### 3. 完整控制器示例 ```java @RestController @RequiredArgsConstructor public class StreamController { private final WebClient webClient; private final StringBuilder fullResponse = new StringBuilder(); @GetMapping("/stream-chat") public Flux<String> streamChat(@RequestParam String message) { return webClient.post() .bodyValue(createRequest(message)) .retrieve() .bodyToFlux(DataBuffer.class) .map(dataBuffer -> { String chunk = DataBufferUtils.release(dataBuffer).toString(StandardCharsets.UTF_8); fullResponse.append(chunk); return chunk; }); } private Map<String, Object> createRequest(String message) { return Map.of( "messages", List.of(Map.of("role", "user", "content", message)), "stream", true, "max_tokens", 2000 ); } } ``` ### 关键点说明： 1. **响应式背压控制**：通过`Flux`实现按需处理数据流，自动处理背压[^3] 2. **超时配置**：使用`.timeout()`防止长时间无响应 3. **SSE事件处理**：支持标准的Server-Sent Events格式 4. **数据完整性**：使用StringBuilder累积完整响应 5. **错误处理**：区分网络错误和API业务错误
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

LinkJii

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值