手把手教你大模型快速下载!无需魔法

本文介绍了如何使用HuggingFace的命令行工具huggingface-cli进行模型下载,包括本地存储和镜像下载,以及如何通过modelscope库和GitLFS下载特定模型。提供了详细步骤和环境配置。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

模型下载

作者:Datawhale 不要葱姜蒜
项目地址:https://github.com/KMnO4-zx/self_llm.git
如果大家有其他模型想要部署教程,可以来仓库提交issue哦~ 也可以自己提交PR!

hugging face

使用huggingface官方提供的huggingface-cli命令行工具。安装依赖:

pip install -U huggingface_hub

然后新建python文件,填入以下代码,运行即可。

  • resume-download:断点续下
  • local-dir:本地存储路径。(linux环境下需要填写绝对路径)
import os

# 下载模型
os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')
hugging face 镜像下载

与使用hugginge face下载相同,只需要填入镜像地址即可。使用huggingface官方提供的huggingface-cli命令行工具。安装依赖:

pip install -U huggingface_hub

然后新建python文件,填入以下代码,运行即可。

  • resume-download:断点续下
  • local-dir:本地存储路径。(linux环境下需要填写绝对路径)
import os

# 设置环境变量
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

# 下载模型
os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')

更多关于镜像使用可以移步至 HF Mirror 查看。

modelscope

使用modelscope中的snapshot_download函数下载模型,第一个参数为模型名称,参数cache_dir为模型的下载路径。

注意:cache_dir最好为决定路径。

安装依赖:

pip install modelscope
pip install transformers

在当前目录下新建python文件,填入以下代码,运行即可。

import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b', cache_dir='your path', revision='master')
git-lfs

来到git-lfs网站下载安装包,然后安装git-lfs。安装好之后在终端输入git lfs install,然后就可以使用git-lfs下载模型了。当然这种方法需要你有一点点 Magic

git clone https://huggingface.co/internlm/internlm-7b
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值