分享 GPU 管理与大模型推理相关技术实践

博客等级

码龄3年

Seal官方账号

关注

私信

通义千问, 文心一言, ChatGLM, GPT-4, Llama2, DevOps 能力评测
little翕: 期待今年的评测
Walrus 0.5发布：重构交互流程，打造开箱即用的部署体验
CSDN-Ada助手: 恭喜你这篇博客进入【CSDN月度精选】榜单，全部的排名请看 https://bbs.csdn.net/topics/618030499。
Walrus 0.5发布：重构交互流程，打造开箱即用的部署体验
CSDN-Ada助手: 恭喜你这篇博客进入【CSDN每天值得看】榜单，全部的排名请看 https://bbs.csdn.net/topics/618017527。
人工智能革命｜是疯狂炒作还是大势所趋？
CSDN-Ada助手: 恭喜你，获得了 2023 博客之星评选的入围资格，请看这个帖子（https://bbs.csdn.net/topics/616676619?utm_source=blogger_star_comment）。请在这里提供反馈： https://blogdev.blog.csdn.net/article/details/129986459?utm_source=blogger_star_comment。
解锁软件工程新角色——平台工程师
CSDN-Ada助手: 恭喜你这篇博客进入【CSDN每天值得看】榜单，全部的排名请看 https://bbs.csdn.net/topics/615696581。

关注

文章平均质量分 89

关注数：文章数：1 文章阅读量：5542 文章收藏量：14

Manage GPU clusters for running LLMs https://github.com/gpustack/gpustack

展开

专栏收录文章

初识云原生安全：云时代的最佳保障