Spring AI中使用ChatMemory实现会话记忆功能

1、需求

我们知道大型语言模型 (LLM) 是无状态的,这就意味着他们不会保存之前的交互信息。当我们希望在一次会话中,模型支持多次交互,那么我们该如何实现呢? 在 Spring AI中提供了ChatMemory功能,它允许我们在与LLM的多次交互中存储与检索信息。此处我们借助Spring AI的ChatMemory功能实现一个简单的多轮对话。

    1. 集成ollama部署的本地模型
    1. 使用jdbc存储聊天历史信息(保存到mysql中)

2、ChatMemory中消息的存储位置

ChatMemory中消息的存储位置
默认情况下是存储在内存中,但是它也提供了JDBCCassandraNeo4j的实现。

如果我们想自定义实现存储该如何实现呢? 需要实现ChatMemoryRepository接口。此处我们不自己实现,使用Spring AI 提供的 JDBC存储实现。

注意:使用Spring AI 提供的JDBC实现需要引入 spring-ai-starter-model-chat-memory-repository-jdbc 包
ChatMemoryRepository

3、实现步骤

1、引入依赖

<properties>
        <spring-ai.version>1.0.0</spring-ai.version>
        <java.version>17</java.version>
        <maven.compiler.source>17</maven.compiler.source>
        <maven.compiler.target>17</maven.compiler.target>        <maven.compiler.compilerVersion>17</maven.compiler.compilerVersion>
</properties>
<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <!-- 集成ollama -->
    <dependency>
        <groupId>org.springframework.ai</groupId>
        <artifactId>spring-ai-starter-model-ollama</artifactId>
    </dependency>
    <!-- 使用jdbc存储模型的聊天记录 -->
    <dependency>
        <groupId>org.springframework.ai</groupId>
        <artifactId>spring-ai-starter-model-chat-memory-repository-jdbc</artifactId>
    </dependency>
    <dependency>
        <groupId>com.mysql</groupId>
        <artifactId>mysql-connector-j</artifactId>
        <scope>runtime</scope>
    </dependency>
</dependencies>
<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-bom</artifactId>
            <version>${spring-ai.version}</version>
            <type>pom</type>
            <scope>import</scope>
        </dependency>
    </dependencies>
</dependencyManagement>

2、配置Spring AI

spring:
  application:
    name: spring-ai-advisor-chat-memory
  ai:
    ollama:
      base-url: http://localhost:11434 # 配置ollama的地址
      chat:
        model: deepseek-r1:14b  # 配置模型的名称
        options:
          temperature: 0.7 # 配置模型温度
    chat:
      memory:
        repository:
          jdbc:
            initialize-schema: always
            # 配置初始化脚本的位置
            schema: classpath:org/springframework/ai/chat/memory/repository/jdbc/schema-mariadb.sql
            platform: mariadb
  datasource:
    url: jdbc:mysql://127.0.0.1:3306/temp_work?useUnicode=true&characterEncoding=utf8&autoReconnectForPools=true&useSSL=false
    username: root
    password: root
    driver-class-name: com.mysql.cj.jdbc.Driver

logging:
  level:
    # 用于支持llm模型输入前和输入后的日志打印
    org.springframework.ai.chat.client.advisor: debug

指定脚本的位置

3、配置chatmemory

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.ai.chat.client.advisor.MessageChatMemoryAdvisor;
import org.springframework.ai.chat.client.advisor.SimpleLoggerAdvisor;
import org.springframework.ai.chat.memory.ChatMemory;
import org.springframework.ai.chat.memory.ChatMemoryRepository;
import org.springframework.ai.chat.memory.MessageWindowChatMemory;
import org.springframework.ai.chat.memory.repository.jdbc.JdbcChatMemoryRepository;
import org.springframework.ai.chat.memory.repository.jdbc.JdbcChatMemoryRepositoryDialect;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.jdbc.core.JdbcTemplate;

import javax.sql.DataSource;

/**
 * ai 配置
 * @author huan.fu
 * @date 2025/6/8 - 08:44
 */
@Configuration
public class AiConfiguration {

    @Bean
    public JdbcChatMemoryRepository jdbcChatMemoryRepository(JdbcTemplate jdbcTemplate, DataSource dataSource) {
        JdbcChatMemoryRepositoryDialect dialect = JdbcChatMemoryRepositoryDialect.from(dataSource);
        return JdbcChatMemoryRepository.builder().jdbcTemplate(jdbcTemplate).dialect(dialect).build();
    }

    @Bean
    public ChatMemory chatMemory(ChatMemoryRepository jdbcChatMemoryRepository){
        return MessageWindowChatMemory.builder()
                .chatMemoryRepository(jdbcChatMemoryRepository)
                // 每个会话最多记录20条信息
                .maxMessages(20)
                .build();
    }

    @Bean
    public ChatClient chatClient(OllamaChatModel ollamaChatModel, ChatMemory chatMemory){
        // 配置模型 (因为我们使用的是 ollama, 所以此处写的是 OllamaChatModel)
        return ChatClient.builder(ollamaChatModel)
                // 默认系统提示词
                .defaultSystem("你是一个拥有丰富经验的编程小助手,擅长编写各种程序。")
                // 添加模型输入前和输入后日志打印
                .defaultAdvisors(new SimpleLoggerAdvisor(),
                        // 配置 chat memory advisor
                        MessageChatMemoryAdvisor.builder(chatMemory).build())
                .build();
    }
}

注入到advisor中

4、java层传递conversaionId

java层传递conversaionId
java层传递conversaionId

4、验证

依次访问如下2个http请求

http://localhost:8080/blockChat?prompt=介绍一下你自己&conversationId=123456789
http://localhost:8080/blockChat?prompt=我刚刚问的问题是什么&conversationId=123456789

验证结果
会话id需保持一致
从上图中可以,在第二次询问模型时,模型知道上次的问题是什么。

5、完整代码

https://gitee.com/huan1993/spring-cloud-parent/tree/master/spring-ai/spring-ai-advisor-chat-memory

6、参考文档

1、https://docs.spring.io/spring-ai/reference/api/chat-memory.html

<think>好的,用户现在用的是瑞芯微的RV1126硬件平台,想要开发摄像头驱动和ISP驱动。首先,我需要回忆一下RV1126的相关资料。RV1126是一款针对视觉处理的芯片,通常用于摄像头、智能安防等领域,所以摄像头驱动和ISP确实是关键部分。 用户可能有一定的嵌入式开发经验,但可能对RV1126的具体开发流程不太熟悉。需要先确定他们的开发环境是否已经搭建好了,比如SDK、交叉编译工具链等。如果用户已经完成了这些基础工作,接下来就是具体的驱动开发步骤。 摄像头驱动方面,RV1126通常支持MIPI CSI-2接口的摄像头模块。需要确认用户使用的摄像头型号是否兼容,或者是否需要自己适配。可能需要修改设备树(Device Tree)来配置MIPI接口参数,比如时钟频率、数据通道数等。还有I2C通信,用于配置摄像头传感器的寄存器,这部分可能需要编写或调整驱动代码。 然后是ISP驱动,RV1126内置了ISP模块,处理图像数据如降噪、HDR等。用户可能需要配置ISP的参数,或者根据具体需求调整图像处理流程。瑞芯微的SDK里可能有相关的文档和示例代码,需要引导用户参考这些资料,比如如何通过mediactl或v4l2工具进行配置。 另外,用户可能会遇到调试问题,比如图像不显示、颜色异常等。这时候可能需要检查设备树配置是否正确,时钟信号是否稳定,或者I2C通信是否正常。还有可能是电源管理的问题,摄像头模块的供电是否充足。 用户可能还不太清楚如何测试驱动是否正常工作,可能需要指导他们使用工具如v4l2-ctl来捕获图像,或者使用瑞芯微提供的调试工具。另外,ISP的调试可能需要通过参数调整来优化图像质量,这部分可能需要反复试验。 需要提醒用户注意内核版本和SDK的兼容性,不同版本的SDK可能在驱动支持上有差异。如果用户遇到编译错误或驱动加载失败,建议检查内核配置和驱动模块的依赖关系。 最后,考虑到用户的具体需求,可能需要推荐他们查阅RV1126的官方文档,加入开发者社区或论坛,获取更多的支持和案例分享。如果有具体的错误信息或日志,分析起来会更有效率。</think>开发摄像头驱动和ISP驱动在RV1126平台上的实现可以分为以下几个关键步骤,以下是基于瑞芯微平台的开发要点总结: --- ### **一、RV1126视觉开发基础** 1. **硬件特性认知** - 双核NPU(2Tops算力)支持INT8/INT16量化 - 内置第三代ISP(支持HDR、3DNR等图像增强算法) - 支持MIPI CSI-2/DVP等摄像头接口 2. **开发环境搭建** ```bash # 官方推荐工具链(需联系瑞芯微获取) tar xvf rv1126_toolchain.tar.gz export PATH=$PATH:/opt/rv1126/gcc-arm-8.3-2019.11-x86_64-arm-linux-gnueabihf/bin ``` --- ### **二、摄像头驱动开发流程** #### **1. 设备树配置** ```dts // kernel/arch/arm/boot/dts/rv1126-ipc.dtsi &i2c1 { status = "okay"; camera0: camera-module@10 { compatible = "sony,imx415"; // 替换实际传感器型号 reg = <0x10>; clocks = <&cru CLK_MIPICSI_OUT>; clock-names = "xvclk"; port { camera_out: endpoint { remote-endpoint = <&mipi_in_ucam0>; data-lanes = <1 2 3 4>; // MIPI通道配置 link-frequencies = /bits/ 64 <594000000>; }; }; }; }; &mipi_csi2 { status = "okay"; ports { port@0 { mipi_in_ucam0: endpoint@1 { remote-endpoint = <&camera_out>; data-lanes = <1 2 3 4>; }; }; }; }; ``` #### **2. V4L2驱动框架适配** - 实现`struct v4l2_subdev_ops`操作集 - 注册I2C驱动: ```c static struct i2c_driver imx415_i2c_driver = { .driver = { .name = "imx415", .of_match_table = imx415_of_match, }, .probe = imx415_probe, .remove = imx415_remove, }; module_i2c_driver(imx415_i2c_driver); ``` --- ### **三、ISP驱动开发要点** #### **1. ISP管线配置** 通过`media-ctl`工具验证数据流: ```bash media-ctl -p -d /dev/media0 # 预期输出应包含实体链路: # "imx415 1-0010" -> "rkisp1_isp" ``` #### **2. 图像调优参数设置** 通过`v4l2-ctl`调整ISP参数: ```bash v4l2-ctl -d /dev/v4l-subdev0 \ --set-ctrl brightness=128 \ --set-ctrl contrast=90 \ --set-ctrl saturation=100 ``` #### **3. HDR模式启用(以IMX415为例)** ```c // 通过I2C发送传感器配置命令 static int imx415_set_hdr(struct i2c_client *client, u32 mode) { u8 reg_val[3]; reg_val[0] = 0x30; // HDR控制寄存器地址 reg_val[1] = (mode & 0x0F) << 4; i2c_master_send(client, reg_val, 2); return 0; } ``` --- ### **四、典型问题排查** 1. **图像无输出** - 检查供电:`cat /sys/class/regulator/regulator.9/voltage` - 验证时钟信号:示波器测量XCLK引脚(正常应输出24MHz) 2. **颜色异常** ```bash # 确认Bayer格式匹配 v4l2-ctl --get-fmt-video # 输出应为:'RG10' (对于IMX415) ``` 3. **ISP超时错误** ```dmesg [ 256.390241] rkisp1: timeout waiting for isp config lock! ``` 需检查时钟频率配置: ```dts &cru { assigned-clocks = <&cru CLK_MIPICSIOUT_RX>; assigned-clock-rates = <594000000>; // 需与传感器输出匹配 }; ``` --- ### **五、开发资源推荐** 1. **官方文档** - 《RV1126 TRM》第12章ISP子系统 - 《Rockchip_Developer_Guide_ISP3.x_CN》 2. **调试工具** ```bash # ISP3D调试工具(需配套SDK) isp_demo --sensor=imx415 --action=test ``` 建议通过瑞芯微官方GitHub获取最新内核补丁(注意分支选择): ``` git clone -b rv1126_linux_release https://github.com/rockchip-linux/kernel.git ``` 开发过程中若遇到具体硬件兼容性问题,建议直接联系瑞芯微FAE获取传感器适配支持包(Sensor Driver Adaptation Kit)。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值