基于PAI+专属网关+私网连接:构建全链路Deepseek云上私有化部署与模型调用架构

本文涉及的产品
公网NAT网关,每月750个小时 15CU
应用型负载均衡 ALB,每月750个小时 15LCU
网络型负载均衡 NLB,每月750个小时 15LCU
简介: 本文介绍了阿里云通过PAI+专属网关+私网连接方案,帮助企业实现DeepSeek-R1模型的私有化部署。方案解决了算力成本高、资源紧张、部署复杂和数据安全等问题,支持全链路零公网暴露及全球低延迟算力网络,最终实现技术可控、成本优化与安全可靠的AI部署路径,满足企业全球化业务需求。

DeepSeek-R1是由深度求索公司推出的首款推理模型,该模型在数学、代码和推理任务上的表现优异,市场反馈火爆。在大模型技术商业化进程中,企业级用户普遍面临四大核心挑战:

  • 算力投入成本高昂:构建千亿参数级模型的训练与推理集群需巨额开支,导致中小企业难以跨越技术准入门槛;
  • 算力资源供应紧张:一线城市GPU集群受限于硬件供应短缺与资源抢占激烈,算力资源不足;
  • 模型部署复杂:从算法适配、性能调优到业务系统集成的端到端部署周期动辄数月,部署困难;
  • 数据安全合规风险:传统公网调用模式存在数据泄露隐患,难以满足企业对核心数据安全防护的严苛要求。

对于对数据主权敏感、业务全球化、需长期技术自主权的企业来说,其在AI商业化进程中实现技术可控、成本可控、风险可控尤为重要,基于以上基本诉求,此类客户更加注重:

  1. 自主可控的AI部署能力:
  • 需要灵活管理模型版本、算法优化路径,而非完全依赖第三方API接口。
  • 可定制模型(如微调预训练模型或集成自研算法)。
  1. 数据隐私与合规性保障:
  • 核心业务数据(如客户隐私、生产数据、财务数据)需在私有网络内处理,避免公网暴露风险。
  1. 跨区域业务协同需求:
  • 全球化业务需在不同区域(如亚洲、欧洲、美洲)部署低延迟的AI推理服务。
  1. 成本与资源效率优化:
  • AI 推理使用量大,避免API的高单价调用成本,需自主可控的按需弹性调度算力资源。

为了解决以上问题,阿里云推荐使用基于阿里云PAI+专属网关+私网连接解决方案:破解大模型落地的技术与资源瓶颈。

阿里云PAI目前已经支持一键部署DeepSeek-V3、DeepSeek-R1模型,结合乌兰察布的GPU资源与阿里云CEN全球骨干网能力,配合使用专属网关+私网连接,企业可快速搭建:

  1. 全球骨干级内网通道:通过CEN云企业网打通全球VPC与本地混合云,实现内网级访问延迟
  2. 全链路零公网暴露:专属网关+私网连接确保模型调用、数据传输全程私有化
  3. 东数西算算力网络:低成本利用乌兰察布算力资源,支撑全球业务的AI推理需求

通过此方案可以帮助企业级用户搭建东数西算核心算力网络,快速构建零公网暴露的云上私有化部署与模型调用架构。


场景示例

本文以下图场景为例。某企业在阿里云华东(上海)地域创建了专有网络VPC1,在该VPC1中有业务环境。为了业务环境的稳定性和安全性,该企业希望在乌兰察布使用PAI部署一套自有的云上Deepseek模型调用环境,提供给上海的业务集群使用,并要求私网访问,以构建全链路私有化部署与模型调用架构。

前提条件

  • 您已在乌兰察布地域创建了专有网络VPC1,并在两个可用区内创建两台交换机VSW1、VSW2,创建了对应的安全组。具体操作,请参见创建专有网络创建和管理交换机
  • 您已在上海地域创建了专有网络VPC2,并在两个可用区内创建两台交换机VSW3、VSW4,创建了对应的安全组。具体操作,请参见创建专有网络创建和管理交换机
  • 您已分别在VSW3和VSW4中创建ECS01和ECS02实例.
  • 您已创建云企业网CEN,并分别在上海、乌兰察布创建好转发路由器TR,并将VPC1和VPC2互相打通,具体步骤请参考跨地域VPC互通

步骤一:使用模型在线服务EAS,一键搭建DeepSeek-R1模型

  1. 登录人工智能平台PAI。
  2. 在顶部菜单栏,选择PAI所属的地域。
  3. 在左侧导航栏,选择模型部署 > 模型在线服务(EAS)
  4. 推理服务点击部署服务。
  5. 场景化模型部署中,选择LLM大语言模型部署。

参数

描述

基本信息

服务名称

自定义服务名称。本方案使用的示例值为:deepseek_test

版本选择

选择开源模型一键部署

模型类别

本方案选择DeepSeek-R1。EAS还提供了多种模型类别可供选择。

部署方式

选择SGLang加速部署 > 单机-标准机型

资源信息

资源类型

选择公共资源

部署资源

选择模型类别后,系统会自动推荐适合的资源规格。

专有网络

专有网络(VPC)

本方案选择在乌兰察布已创建的VPC1

交换机

本方案选择在VPC1内已创建的VSW1

  1. 点击部署。

步骤二:在EAS模型在线服务中创建专属网关,打通服务调用所属VPC

  1. 在模型在线服务(EAS)菜单栏中,切换到专属网关页签,新建专属网关 > 新建后付费专属网关

  1. 在模型在线服务(EAS)菜单栏中,切换到专属网关页签,新建专属网关 > 新建后付费专属网关(按量付费)
  2. 购买完成后,为专属网关添加专有网络。

单击专属网关名称,在开通相关服务后,在网关详情页面网关访问控制 >专有网络页签,添加乌兰察布地域专有网络VPC1,交换机VSW2。创建后,在乌兰察布地域进入私网连接 > 终端节点,可以看到专属网关自动已经创建好对应的接口终端节点

  1. 为专属网关关联其他VPC,本文选择华东(上海)地域 VPC1

创建后,在云解析Privatezone > 域名设置里,可以看到专属网关已自动创建好对应的VPC内网解析。

  1. 修改专属网关白名单设置,放通对应的VPC网段。

步骤三:将模型在线服务EAS加入到对应专属网关

  1. 在模型在线服务(EAS)菜单栏中,切换到推理服务页签,在对应模型服务的操作菜单中点击更新

  1. 在页签的右上角点击切换为自定义部署,下拉菜单到服务功能页签,选择已经创建的专属网关,并更新配置

  1. 在模型在线服务(EAS)菜单栏中,切换到推理服务页签,在对应模型服务的服务方式菜单中点击调用信息

选择VPC地址调用,可以看到对应的模型服务地址以及Token信息

步骤四:测试使用私网调用EAS模型服务

  1. 登录上海地域VPC2内的ECS01,并将EAS模型服务对应的Token添加到环境变量中。

执行以下命令,将环境变量设置追加到 ~/.bashrc 文件中:

# 用对应的调用Token 代替 <你的EAS的TOKEN>

echo "export EAS_TOKEN=<你的EAS的TOKEN>" >> ~/.bashrc

执行以下命令,刷新环境变量设置

source ~/.bashrc

  1. 使用私网HTTP/HTTPS调用模型服务

示意如下,其中,<model_name>请替换为模型列表接口<EAS_ENDPOINT>/v1/models获取的模型名称,<EAS_ENDPOINT>请替换为EAS VPC地址调用的域名。

备注:调用方式可以为HTTP/HTTPS.

curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer $EAS_TOKEN" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello!"
        }
        ]
    }' \
    <EAS_ENDPOINT>/v1/chat/completions

返回成功响应表明私网调用 DeepSeek-R1通道 已成功建立。

(可选)步骤五:使用EAS专属网关公网调用能力

  1. 为专属网关添加公网访问能力。

单击专属网关名称,在开通相关服务后,在网关详情页面网关访问控制 >公网页签,打开访问入口按钮,并添加公网访

问白名单。

  1. 使用公网HTTP/HTTPS调用模型服务

示意如下,<EAS_TOKEN>请替换为EAS的Token信息,<model_name>请替换为模型列表接口<EAS_ENDPOINT>/v1/models获取的模型名称,<EAS_ENDPOINT>请替换为EAS 公网调用的地址。

备注:调用方式可以为HTTP/HTTPS.

curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization:  <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello!"
        }
        ]
    }' \
    <EAS_ENDPOINT>/v1/chat/completions

使用本地设备测试,返回成功响应表明公网调用 DeepSeek-R1通道 已成功建立。

阿里云通过PAI+专属网关+私网连接方案,为企业级用户构建了技术可控、成本优化、安全可靠的AI私有化部署调用路径。该方案不仅解决了算力资源紧张与部署复杂度高的痛点,全链路私有化部署和全球低延迟算力网络,也满足了企业对数据主权、全球化业务部署及长期技术自主的需求。凭借乌兰察布算力资源与CEN骨干网的协同,企业可快速实现大模型的高效落地,为AI技术的规模化应用提供了可信赖的基础设施支撑。

相关文章
|
2月前
|
消息中间件 负载均衡 中间件
⚡ 构建真正的高性能即时通讯服务:基于 Netty 集群的架构设计与实现
本文介绍了如何基于 Netty 构建分布式即时通讯集群。随着用户量增长,单体架构面临性能瓶颈,文章对比了三种集群方案:Nginx 负载均衡、注册中心服务发现与基于 ZooKeeper 的消息路由架构。最终选择第三种方案,通过 ZooKeeper 实现服务注册发现与消息路由,并结合 RabbitMQ 支持跨服务器消息广播。文中还详细讲解了 ZooKeeper 搭建、Netty 集群改造、动态端口分配、服务注册、负载均衡及消息广播的实现,构建了一个高可用、可水平扩展的即时通讯系统。
178 0
|
3月前
|
存储 SQL 分布式计算
19章构建企业级大数据平台:从架构设计到数据治理的完整链路
开源社区: 贡献者路径:从提交Issue到成为Committer 会议演讲:通过DataWorks Summit提升影响力 标准制定: 白皮书撰写:通过DAMA数据治理框架认证 专利布局:通过架构设计专利构建技术壁垒
|
2月前
|
小程序 安全 JavaScript
构建即时通讯APP内的小程序生态体系:从架构设计到技术实现-优雅草卓伊凡
构建即时通讯APP内的小程序生态体系:从架构设计到技术实现-优雅草卓伊凡
108 1
构建即时通讯APP内的小程序生态体系:从架构设计到技术实现-优雅草卓伊凡
|
2月前
|
数据采集 存储 分布式计算
一文读懂数据中台架构,高效构建企业数据价值
在数字化时代,企业面临数据分散、难以统一管理的问题。数据中台架构通过整合、清洗和管理数据,打破信息孤岛,提升决策效率。本文详解其核心组成、搭建步骤及常见挑战,助力企业高效用数。
|
2月前
|
消息中间件 缓存 负载均衡
构建高效可扩展的后端架构:从设计到实现
本文探讨了如何构建高效、可扩展的后端架构,涵盖需求分析、系统设计、实现与优化全过程。内容包括微服务、数据库设计、缓存与消息队列等关键技术,并涉及API设计、自动化测试、CI/CD及性能优化策略,助力打造高性能、易维护的后端系统。
|
4月前
|
机器学习/深度学习 数据采集 人工智能
20分钟掌握机器学习算法指南
在短短20分钟内,从零开始理解主流机器学习算法的工作原理,掌握算法选择策略,并建立对神经网络的直观认识。本文用通俗易懂的语言和生动的比喻,帮助你告别算法选择的困惑,轻松踏入AI的大门。
|
10月前
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
906 6
|
5月前
|
机器学习/深度学习 存储 Kubernetes
【重磅发布】AllData数据中台核心功能:机器学习算法平台
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
AI训练师入行指南(三):机器学习算法和模型架构选择
从淘金到雕琢,将原始数据炼成智能珠宝!本文带您走进数字珠宝工坊,用算法工具打磨数据金砂。从基础的经典算法到精密的深度学习模型,结合电商、医疗、金融等场景实战,手把手教您选择合适工具,打造价值连城的智能应用。掌握AutoML改装套件与模型蒸馏术,让复杂问题迎刃而解。握紧算法刻刀,为数字世界雕刻文明!
197 6
|
7月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于机器学习的人脸识别算法matlab仿真,对比GRNN,PNN,DNN以及BP四种网络
本项目展示了人脸识别算法的运行效果(无水印),基于MATLAB2022A开发。核心程序包含详细中文注释及操作视频。理论部分介绍了广义回归神经网络(GRNN)、概率神经网络(PNN)、深度神经网络(DNN)和反向传播(BP)神经网络在人脸识别中的应用,涵盖各算法的结构特点与性能比较。

相关产品

  • 私网连接