Triton 深度学习加速组件是基于大模型的推理方案的具体方案。当前许多组件都是基于Triton进行推理,Triton的推理方案最早运行在Linux平台上,后来经过开源开发社区的帮助,Windows也可以基于Triton 来进行推理。
当前作者针对Sage Attention 有基础的环境支持,我们可以直接访问到当前网络地址来获取安装包。https://github.com/woct0rdho/triton-windows
这里面需要特别注意的是在3.2.0 Post10 以上的版本只有源码,没有封装好的安装包,因此这里最好使用Post10的版本来进行安装。https://github.com/woct0rdho/triton-windows/releases?page=2
目前Triton的新版本可以直接通过pip install 来进行安装,安装过程也比较简单,下面为安装的命令。pip install triton-