deepGemm源码分析

youzjuer

已于 2025-08-01 15:03:41 修改

阅读量284

点赞数

CC 4.0 BY-SA版权

分类专栏： CUDA和LLM通俗易懂技术站文章标签： cuda 矩阵

于 2025-02-28 09:31:12 首次发布

本文链接：https://blog.csdn.net/youzjuer/article/details/145919616

CUDA和LLM通俗易懂技术站专栏收录该内容

112 篇文章 ¥59.90 ¥99.00

订阅专栏

超级会员免费看

一使用

* 直接git clone源码：可以不下载cutlass，后续再安装

* 将之前下载好的cutlass直接传到deepGemm中的third-party文件夹

* 执行 python setup.py install即可完成安装

* 执行python tests/test_core.py 完车测试，如果报错，则再安装一次（可能是缓存的问题）

二 mma_utils.cuh分析

2.1 SM90_64x128x32_F32E4M3E4M3_SS


struct SM90_64x16x32_F32E4M3E4M3_SS {
    __device__ static void wgmma(uint64_t const& desc_a, uint64_t const& desc_b,
                                 float& d00, float& d01, float& d02, float& d03, float& d04, float& d05, float& d06, float& d07,
                                 bool scale_d) {
        asm volatile("{\n"
                     ".reg .pred p;\n"
                     "setp.ne.b32 p, %10, 0;\n"

了解本专栏