【环境安装】安装LLaMA-Factory

【机器背景说明】Linux-Centos7;显卡驱动:Driver Version: 460.106.00;Tesla P40 * 2

【目标环境说明】

torch==1.13.1+cu116

llamafactory==0.9.2.dev0

1.CUDA11.6软件安装

CUDA11.6软件有两种安装方式,一个是直接安装到Pip环境中、一种是下载到本地安装

1.1在Pip环境里直接安装(推荐)

此方法优点:省事不需要通过环境变量来控制cuda版本;缺点:占用空间更大,多个环境无法复用同个版本。安装方法直接敲下面命令:

pip install nvidia-cudnn-cu11==8.5.0.96 -i  https://mirrors.aliyun.com/pypi/simple

1.2在系统里安装

此部分方法是在NVIDIA中下载CUDA软件,然后安装到本地,如果是Linux通过bashrc下面绑定:

export PATH=/usr/local/cuda-11.6/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.6/lib64:$LD_LIBRARY_PATH

附CUDA下载地址:CUDA Toolkit Archive | NVIDIA Developer

2.安装LLaMA-Factory

2.1安装torch==1.13.1+cu116

可以直接按照官网的安装,网速快慢可以自己先登陆url看看下载速度

pip install torch==1.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116

或者:

直接去https://download.pytorch.org/whl/torch/下载torch==1.13.1+cu116,然后pip install对应的包

2.2安装LLaMA-Factory

LLaMA-Factory地址:,安装的是0.9.2.dev0版本,进本地,然后按官网的教程,先进下载目录,在setup.py同级目录敲下面命令:

pip install -e ".[torch,metrics]" -i https://mirrors.aliyun.com/pypi/simple

等待,安装完应该没太大问题了。

最后如果本文对你有些许帮助,赠人玫瑰手有余香,谢谢`

### 安装和配置LLaMA-Factory-webui于Windows操作系统 #### 准备工作 为了顺利安装并运行LLaMA-Factory-webui,建议先创建一个专门用于此目的的Conda环境。这能够有效避免不同软件包之间的冲突,并简化依赖项管理[^2]。 ```bash conda create --name llama_factory_env python=3.9 conda activate llama_factory_env ``` #### 下载与安装 获取LLaMA-Factory源码可以通过Git克隆官方仓库实现: ```bash git clone https://github.com/your-repo-url/llama-factory.git cd llama-factory ``` 接着按照项目文档中的指示来设置必要的Python库和其他外部依赖。通常情况下会有一个`requirements.txt`文件列出了所需的所有Python模块;通过pip命令可以直接完成这些依赖的安装: ```bash pip install -r requirements.txt ``` 对于特定硬件加速支持(比如CUDA),可能还需要额外安装相应的驱动程序以及PyTorch版本。 #### 启动WebUI服务 当所有的准备工作完成后,就可以尝试启动Web应用程序了。一般而言,在项目的根目录下执行如下脚本可以开启HTTP服务器监听本地端口7860: ```bash python app.py ``` 此时应该可以在浏览器地址栏输入`http://localhost:7860`来访问到LLaMA-Factory的图形化操作界面[^1]。 #### 配置模型路径 为了让应用正常加载指定的大规模语言模型,需正确设定模型的位置参数。具体来说就是指明已提前下载好的基础模型所在的绝对路径(`model_path`),还有经过微调之后保存下来的权重文件所在位置(`checkpoint_path`)。后者默认位于LLaMA-Factory工程下的`saves`子目录内[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BoostingIsm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值