夜雨飘零

摘要 本文介绍了如何利用AiStudio平台免费算力部署文心4.5开源大模型，并搭建中转服务供Android设备调用。主要步骤包括：1) 在AiStudio注册并选择ERNIE-4.5-21B-A3B-Paddle模型进行部署；2) 获取API Key和base_url后，修改中转服务的OpenAI客户端配置；3) Android端通过HTTP请求访问中转服务，实现流式对话功能。该方法无需自有GPU服务器，降低了使用门槛，保持了与上一篇文章相同的Android调用方式。

本文介绍了在Android端调用部署的文心4.5大语言模型的方法。首先通过fastdeploy部署ERNIE-4.5-21B-A3B-Paddle模型并启动API服务，然后编写Python中转服务处理对话历史并转发请求。Android客户端通过OkHttp发送请求到中转服务，实时接收流式响应数据，实现打字机效果的对话界面。文中提供了完整的部署步骤、服务端代码和Android核心调用方法，展示了如何将大模型能力集成到移动应用中。

百度文心4.5系列大模型正式开源，包含10款不同规模的模型（0.3B到424B参数）。本文介绍了快速部署和使用方法：1)安装PaddlePaddle、FastDeploy等必要环境；2)提供Python代码示例实现本地对话功能；3)讲解如何启动API服务并兼容OpenAI接口格式。通过简单命令即可部署模型服务(默认端口8180)，并支持使用标准openai库进行调用。文章还预告后续将补充Android客户端调用方法，为开发者提供完整的端到端解决方案。

这里使用最简单的几条命令介绍如何部署DeepSeek-R1的服务，默认已经安装了Anaconda，使用的是vllm框架，国内也可以轻松部署。

在语音对话识别中，一般使用VAD检测用户时候结束说话，但是这个结束时间长度设置多少合适，这很难抉择，太短了，用户说话慢就容易打断，太长了用户等待时间久。还有常见的情况，用户在说话的时候，中途停顿了一下思考，如果只是使用VAD检测，有可能就会认为说话结束，但是用户还没有说话，这句话也不完整。这种情况可以配合文本端点检测，在使用VAD检测的时候，配合文本端点检测，从而保证用户表达完整。