JanHQ/Cortex项目架构深度解析：本地AI引擎的设计与实现-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00456/article/details/148783793

JanHQ/Cortex项目架构深度解析：本地AI引擎的设计与实现

项目概述

JanHQ/Cortex是一个创新的C++ AI引擎，专为本地硬件环境设计。作为一个无头(Headless)后端平台，它集成了TensorRT-LLM支持，能够高效执行机器学习模型。项目采用Docker风格的命令行界面和Typescript客户端库，为开发者提供了灵活的使用方式。

核心架构设计

Cortex采用模块化设计，各组件分工明确，协同工作。整个系统可以分为以下几个关键部分：

1. 接口层(Cortex JS)

作为系统的"门面"，负责接收外部请求并返回响应。这一层抽象了底层复杂性，为开发者提供简洁的API接口。

2. 服务核心(Server)

系统的大脑，负责协调所有活动，管理数据流，确保操作正确执行。采用NestJS框架构建，具有良好的可扩展性。

3. 内核检测(Kernel)

硬件适配层，自动检测服务器硬件配置，并根据当前硬件环境动态调整依赖项，确保系统性能最优。

4. 运行时环境(Runtime)

动态加载必要的库和模型，处理请求。这一层实现了按需加载机制，大大提高了资源利用率。

5. 动态库支持(Dynamic Libraries)

包含多种推理引擎，可根据需求动态加载：

Llama.cpp引擎：轻量级推理引擎
TensorRT-LLM引擎：高性能NVIDIA推理引擎
Onnx运行时引擎：跨平台推理解决方案

数据管理策略

Cortex采用混合数据存储方案，灵活适应不同场景：

数据库选择

MySQL：适用于需要高扩展性、安全性和数据完整性的场景，特别是处理大型模型数据
SQLite：轻量级选择，适合小型模型数据和外部扩展

文件系统

采用结构化目录层次管理配置文件，如model.yaml等，便于版本控制和部署。

扩展机制

Cortex设计了三级扩展体系，确保系统既稳定又可扩展：

内部提供者(Internal Provider)：与CLI直接编译的核心二进制文件(.cpp)，提供基础功能
核心扩展(Core Extensions)：随CLI打包的扩展，如远程引擎和API模型
外部扩展(External Extensions)：独立存储的灵活扩展，支持未来功能扩展

关键技术栈

NestJS框架：作为后端骨架，提供模块化组织方式
Node.js运行时：处理HTTP请求和响应
C++运行时：处理无状态高性能计算任务

代码组织结构

项目采用清晰的分层架构：

domain/            # 领域定义
  abstracts/       # 抽象基类
  models/          # 领域接口
  repositories/    # 扩展抽象

usecases/          # 业务逻辑
  assistants/      # CRUD操作
  chat/            # 聊天功能
  models/          # 模型操作

infrastructure/    # 实现层
  command_handlers/      # CLI处理
  controllers/     # HTTP路由
  database/        # 数据库实现
  providers/       # 核心扩展

extensions/        # 外部扩展