昇腾glm3大模型lora微调及推理

原创

已于 2024-04-02 11:13:31 修改 · 2k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能

于 2024-03-29 17:31:26 首次发布

模型介绍

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：更强大的基础模型，更完整的功能支持，更全面的开源序列

一、环境背景

昇腾910b
驱动版本，23.0.1
cann: 7.0.0
mindspore:2.2.11
mindformers:dev
mindpet:1.0.4

二、生成RANK_TABLE_FILE

运行mindformers/tools/hccl_tools.py生成RANK_TABLE_FILE的json文件

# 运行如下命令，生成当前机器的RANK_TABLE_FILE的json文件
python ./mindformers/tools/hccl_tools.py --device_num "[4,8)"

RANK_TABLE_FILE 单机8卡参考样例:

{
   
   
    "version": "1.0",
    "server_count": "1",
    "server_list": [
        {
   
   
            "server_id": "192.168.0.225",
            "device": [
                {
   
   
                    "device_id": "4",
                    "device_ip": "29.147.146.80",
                    "rank_id": "0"
                },
                {
   
   
                    "device_id": "5",
                    "device_ip": "29.147.10.62",
                    "rank_id": "1"