LLM-微调：Peft库--get_peft_model()--＞在llm基座模型的基础上注入Lora模块（加载流程）【注入的Lora模块的初始参数是随机初始化的】

u013250861

已于 2023-10-23 01:26:23 修改

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： # LLM/训练文章标签： python 开发语言

于 2023-10-22 23:06:42 首次发布

本文链接：https://blog.csdn.net/u013250861/article/details/133979864

LLM/训练专栏收录该内容

108 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何在LLM基座模型上使用Peft库进行微调，特别是在get_peft_model()函数中注入随机初始化的Lora模块。详细步骤包括从mapping.py到lora.py的源码解析，以及整个流程的打印输出。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、site-packages-->peft-->mapping.py-->get_peft_model()

def get_peft_model(model: PreTrainedModel, peft_config: PeftConfig, adapter_name: str = "default") -> PeftModel:
    """
    Returns a Peft model object from a model and a config.

    Args:
        model ([`transformers.PreTrainedModel`]): Model to be wrapped.
        peft_config ([`PeftConfig`]): Configuration object containing the parameters of the Peft model.
    """
    model_config = getattr(model, "config", {"model_type": "custom"})
    if hasattr(model_config, "to_dict"):
        model_config = model_config.to_dict()

    peft_config.base_model_name_or_path = model.__dict__.get("name_or_path", None)

    if peft_config.task_type not in MODEL_TYPE_TO_PEFT_MODEL_MAPPI

了解本专栏

超级会员免费看