Linux并行计算&国产加速器海光DCU&GPGPU深算处理器使用FAQ

已于 2024-08-22 17:09:13 修改
阅读量3k 收藏 34
点赞数 34
CC 4.0 BY-SA版权
分类专栏： Linux并行计算&HPC高性能计算 人工智能&深度学习&机器学习 文章标签： dcu 海光 深度计算处理器 FAQ
于 2024-06-28 00:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27815483/article/details/139881411

目录

DCU FAQ

硬件

产品端适配（cpu、加速卡、服务器）

虚拟化

hyqua/k8s/docker等工具

运行环境

dtk底层库

性能调优

深度学习框架/三方库

DCU FAQ

DCU常见问题汇总：

  1. 硬件
  2. 产品端适配(cpu、加速卡、服务器)
  3. 虚拟化
  4. hyqua/k8s/docker等工具
  5. 运行环境
  6. dtk底层库
  7. 性能调优
  8. 深度学习框架/三方库
  1. 硬件

    • 问：lspci | grep -i Display无显示。

      答：清理DCU加速卡金手指，请确保各插槽插紧无松动。

    • 问：BMC下看不到DCU设备，DCU上信号灯第二个灯-P3V3不亮。

      答：请联系相应技术人员查看DCU电源线型号，协助更换。

    • 问：在训练模型多个epoch后机器突然重启，且重新训练后多次遇到该问题。

      答：优先考虑散热问题，请检查是否满足服务器使用的散热条件，如果在降低DCU频率（频率降低会造成性能损失）或降低环温之后不再出现宕机情况，则散热问题可能性较大，或联系服务器提供商。

  2. 产品端适配（cpu、加速卡、服务器）

    • 问：Intel CPU+DCU加速卡服务器机型，lspci无法识别DCU。

      答：需要修改bios选项，请将MMIO High Base改为2T，建议优先使用已经进行DCU适配的intel服务器机型。

    • 问：驱动加载失败，如下图：

      答：请检查系统启动项中是否包含nomodeset选项，若存在，请删除。通常在系统启动时，按 e进入内核启动修改页面，找到以 linux16 /vmlinuz 开始的行，删除 nomodeset 字段，然后按Ctrl+x启动，如图所示：

      在系统启动之后，根据不同版本的系统要求修改 grub 文件，确保该启动项永久生效。

  3. 虚拟化

    • 问：虚拟机中CPU到DCU的带宽只有0.1GB/s左右。

      答：请使用V1.32以后的驱动。

      影响范围：所有dtk主干版本

  4. hyqua/k8s/docker等工具

    • 问：怎样通过容器分割物理机上的DCU加速卡。

      答：当需要在容器中仅出现某些加速卡时，可以将”--device=/dev/dri”替换为具体设备。例如：当使用第一张和第三张加速卡时，将”--device=/dev/dri”替换为”--device=/dev/dri/card1 --device=/dev/dri/renderD128 --device=/dev/dri/card3 --device=/dev/dri/renderD130”，其中card1，renderD128为第一张加速卡，card3，renderD130为第三张加速卡。切记此时不要再添加--privileged参数，效果如下：

      影响范围：所有dtk主干版本

最低0.47元/天 解锁文章

200万优质内容无限畅学
国产加速器海光DCU&GPGPU深度计算处理器快速上手使用步骤
qq_27815483的博客
07-05 4563
海光DCU深度计算处理器快速上手使用步骤
国产加速器海光DCU&GPGPU深算处理器与NVIDIA等其它厂商GPU性能测试对比
qq_27815483的博客
07-11 7730
本文主要介绍国产DCU加速处理器与其它品牌GPU加速卡实测性能对比
Linux平台使用网络加速卡提高转发性能
系统运维
02-18 715
一直以来，Linux给人的印象都是服务器级别的，虽然有人拿它当桌面，也有手机使用它，但这都是少数，几乎从来都没有人拿它放在骨干网上当路由器，哪怕是接入层都少到几乎没有人使用Linux。Netfilter机制可以改变这个事实，因为Netfilter机制太强悍了，它几乎可以让你完全重新定制协议栈的行为。 不要以为只有iptables之类的防火墙/NAT软件才使用Netfilter，其实Netfilte...
国产海光DCU及超算平台深度解析
thesky123456的博客
05-05 3313
尽管面临生态完善度与国际技术差距的挑战，其持续迭代的产品性能、与DeepSeek等企业的深度合作，以及国家“东数西算”战略的推动，将加速国产DCU在AI、科学计算等领域的全面替代进程。• 智算中心建设：在国家级超算中心中，海光DCU集群已支持千亿参数大模型训练，单集群算力规模达100PFLOPS（FP16），训练效率达到英伟达H100集群的65%。• 采用7nm+工艺，显存容量提升至512GB，带宽达1.536TB/s，支持全精度模型训练，适配文心一言、通义千问等国产大模型。
linux安装PHP加速器eAccelerator
weixin_30493321的博客
09-10 155
感慨下：做前端开发不少日子了，在前公司也使用过一段时间linux系统，对apache配置比较熟悉，可是对nginx配置还是不熟悉，毕竟自己是做前端开发的，大后端的事情还是比较排斥，以后多练习。前些日子vps到期了，换了空间，没配置好eAccelerator，本来想要朋友全权处理，可是他最近比较忙，只好自己处理了，现在将安装eAccelerator过程记录下，以后留用。 vps是cen...
Linux varnish（一款高性能的开源HTTP加速器）
顿了
01-25 740
Varnish Varnish是一款高性能的开源HTTP加速器，挪威最大的在线报纸 Verdens Gang 使用3台Varnish代替了原来的12台Squid，性能比以前更好 常用的命令 varnishadm ban.url .*$ #清除所有 varnishadm ban.url /index.html #清除 index.html 页面缓存 varnishad
Linux手动安装BBR加速器（TCP加速器）
柠木的博客
09-05 4220
Linux手动安装BBR加速器（TCP加速器）
国产加速器海光DCU&GPGPU深算处理器异构编程实战（下）
qq_27815483的博客
08-26 2112
Fortran语言自20世纪50年代诞生至今，一直被广泛应用于计算物理学、计算化学、流体力学、气候预测、有限元分析等计算密集的学科领域。同C/C++语言一样，Fortran语言也是科学/工程计算领域的主流编程语言，使用Fortran语言编写的应用程序运行在世界各地大大小小的计算集群上，为人类的各种研究与创新提供数据支撑。
国产加速器海光DCU&GPGPU深算处理器异构编程实战（上）
qq_27815483的博客
08-25 3829
我们也简单概括并比较了CPU和类GPU架构，可以看出CPU和类GPU架构在围绕低延迟和高吞吐量上的架构设计的巨大差异，这种差异必然会导致编程方式上的不同。DCU作为类GPU架构的一种也具有与类GPU相似的特性。因此，我们在详细开展DCU编程介绍之前，首先对DCU系统的硬件架构进行详细的介绍，这样大家在后续章节学习编程和程序优化的时候就会对DCU编程有更深入的理解。本章将会从DCU硬件架构和DCU节点系统架构两个方面开展详细的架构介绍。
linux常用加速器使用
weixin_34061555的博客
04-17 7055
Centos 1、备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2、下载新的CentOS-Base.repo 到/etc/yum.repos.d/ CentOS 5 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.al...
linux进阶-PHP加速器
Nanjing_bokebi的博客
12-16 523
PHP加速器 文章目录PHP加速器Centos 7上编译安装 xcache-5.XCentos 8 实现opcache加速-7.X Centos 7上编译安装 xcache-5.X 百度清华大学yum源 选择remi源列表下的： [维护的企业Linux(RHEL / CentOS /其他克隆)] Enterprise Linux 8-存储库自动配置软件包： remi-release-8.rpm ...
linux_配置镜像加速器
weixin_50565644的博客
03-05 827
linux_配置镜像源加速器
在Linux上安装Docker并配置镜像加速器：从入门到实战
最新发布
like21a的博客
05-30 586
容器编排：学习Docker Compose编排多容器应用私有镜像仓库：搭建Harbor企业级镜像管理平台安全加固：研究Docker Bench安全审计工具CI/CD集成：结合Jenkins/GitLab CI实现自动化部署通过本文的完整实践，您已掌握Docker在Linux环境的核心部署能力。下一步建议尝试部署实际应用（如MySQL/Nginx），深入理解容器化技术带来的开发运维范式变革。引用链接[1]阿里云容器镜像服务:🚧 您已阅读完全文99%！缺少1%的关键操作：加入「炎码燃料仓」
Linux学习 -- Docker加速器配置
qq_50929489的博客
10-09 1120
docker加速器配置
在linux系统中配置docker镜像加速器（附具体步骤）
li944254211的博客
11-06 4047
配置docker镜像加速器 国内从 Docker Hub 拉取镜像有时会遇到困难，此时可以配置镜像加速器。Docker 官方和国内很多云服务商都提供了国内加速器服务，例如： Docker 官方提供的中国 registry mirror https://registry.docker-cn.com 七牛云加速器 https://reg-mirror.qiniu.com/ 当配置某一个加速器地址之后，若发现拉取不到镜像，请切换到另一个加速器地址。 国内各大云服务商均提供了 Docker 镜像加速服务，建议根
Linux配置Docker、镜像加速器
Mr. Zhang Xiaojian's Blog
08-28 1155
Docker 镜像（Image），就相当于是 一个 root 文件系统。比如官方镜像 ubuntu:16.04 就包含了完整的一套 Ubuntu16.04 最小系统的 root 文件系统.镜像（Image）和容器（Contain er）的关系，就像是面向对象程序设计中的类和对象一 样，镜像是静态的定义，容器是镜像运行时的实体。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上。docker images -q # 查看所用镜像的id。
Linux 多线程下载工具 axel 下载加速器
修破立生
02-18 3314
本文介绍了 Linux 命令行 网络下载加速器，axel， 支持多线程，断点续传； 还介绍了 axel 在 Ubuntu 和 Centos 系统的安装方式，以及源码安装方式； 最后介绍了 axel 命令的使用。
Linux｜最佳命令行下载加速器
冷冻工厂
08-04 712
它兼容多种网络协议，包括但不限于 DICT、FILE、FTP、FTPS、GOPHER、HTTP、HTTPS、IMAP、IMAPS、LDAP、LDAPS、POP3、POP3S、RTMP、RTSP、SCP、SFTP、SMB、SMBS、SMTP、SMTPS、TELNET 和 TFTP，根据其官方文档所述。wget 提供了丰富的选项，包括进行需要认证的下载、设置递归下载的深度限制、支持 URL 的正则表达式匹配、允许排除特定内容、从文件中读取 URL 等。可以想象，有了这样的支持，curl 的应用场景非常广泛。
海光dcu K100
03-19
### 海光 DCU K100 的硬件规格与性能参数 海光 DCU K100 是一款高性能的数据中心加速卡，主要面向人工智能训练和推理任务。其设计目标是在大规模并行计算领域提供卓越的性能表现。以下是关于该产品的具体信息： #### 硬件规格 - **制程工艺**: 使用先进的制造技术，确保低功耗的同时提升运算效率[^3]。 - **核心数量**: 配备大量计算单元，能够支持高并发的任务处理需求。 - **显存配置**: 提供高达 40GB 的高速 HBM 显存，满足大型模型对于内存的需求[^1]。 #### 性能参数 - **浮点运算能力**: 支持 FP16 和 INT8 数据类型下的高效矩阵乘法操作，在深度学习框架中有显著优势。 - **带宽指标**: 内部互联结构经过优化，具备极高的数据传输速率，减少瓶颈效应的发生概率。 - **能耗管理**: 功率控制机制完善，能够在不同负载条件下维持稳定运行状态。 #### 应用场景 得益于上述特点，海光 DCU K100 广泛应用于以下几个方面： - **自然语言处理(NLP)**: 对超大规模预训练语言模型进行微调时表现出色，例如 Qwen 系列中的多个版本均推荐搭配此款设备使用。 - **计算机视觉(CV)**: 实现图像分类、对象检测等功能所需的复杂算法加速。 - **科学计算**: 解决偏微分方程数值求解等问题所需的大规模线性代数运算。 ```python import torch device = 'cuda' if torch.cuda.is_available() else 'cpu' model = YourModel().to(device) if device == 'cuda': print(f"Using GPU with {torch.cuda.get_device_name(0)}") else: print("No compatible GPU found.") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术瘾君子1573

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值