ragflow里的推理如何打开
时间: 2025-07-01 22:01:02 浏览: 10
在 Ragflow 中启用推理功能涉及多个步骤,包括部署模型服务、配置网络设置以及将模型集成到 Ragflow 的推理框架中。以下是详细的操作流程:
### 部署模型服务
1. **使用 Docker Compose 部署 vLLM 模型服务**:
- 在 `docker-compose.yaml` 文件中定义两个容器服务 `vllm-bge` 和 `vllm-deepseek`。
- 这些服务分别对应不同的模型 `bge-m3` 和 `deepseek-r1`,并且每个服务都指定了相应的模型路径和服务端口。
- 为了支持 GPU 加速,需要为每个服务指定 NVIDIA 驱动和能力,并预留设备资源。
- 所有服务都连接到名为 `docker_ragflow` 的自定义网络,确保服务间的通信畅通无阻 [^3]。
2. **启动模型服务**:
- 使用命令 `docker compose -f docker-compose.yml up -d` 启动服务。
- 查看日志输出以确认服务是否正常运行:`docker logs -f ragflow-server` [^1]。
### 配置 Ragflow 推理框架
1. **添加本地推理模型**:
- 如果没有可用的显卡,则可以使用 Ollama 进行演示。
- 对于生产环境,推荐使用更强大的模型和服务 [^2]。
2. **集成模型服务**:
- 确保 Ragflow 能够访问通过 Docker 容器暴露出来的模型服务端点。
- 如果使用的是 OpenAI 兼容的 API,则可以通过添加相关的 API Key 信息来集成第三方在线 API [^2]。
3. **测试模型服务**:
- 在 Ragflow 中测试已部署的模型服务,确保能够正确接收请求并返回结果。
### 示例代码
下面是一个简单的 Python 脚本示例,用于发送请求到部署好的模型服务:
```python
import requests
def query_model(model_name, input_text):
url = f"http://localhost:8000/v1/models/{model_name}:predict"
payload = {
"input": input_text
}
response = requests.post(url, json=payload)
return response.json()
# 示例调用
result = query_model("bge-m3", "这是一个测试输入")
print(result)
```
请注意,实际使用的 URL 和参数可能根据您的具体部署情况有所不同。
阅读全文
相关推荐


















