lora merge

时间: 2025-05-11 18:29:47 AIGC 浏览: 69
### 如何合并 LoRA 模型或检查点 在机器学习领域，LoRA（Low-Rank Adaptation）是一种高效的参数高效微调技术，通过引入低秩矩阵分解来减少可训练参数的数量。当涉及到多个 LoRA 模型的合并时，通常需要考虑以下几个方面： #### 合并 LoRA 模型的方法 1. **线性加权平均法** 如果有多个 LoRA 权重文件 \( W_1, W_2, \dots, W_n \)，可以通过简单的线性组合实现权重的合并。假设每个模型的重要性由系数 \( a_i \) 表示，则最终的合并权重计算如下： \[ W_{\text{merged}} = \sum_{i=1}^{n} a_i W_i \] 这种方法适用于不同 LoRA 模型之间的差异较小的情况[^3]。 2. **基于优化的目标函数** 可以定义一个目标函数，用于衡量合并后的模型性能。例如，最小化验证集上的损失函数： \[ L(W_{\text{merged}}, X_{\text{val}}) = \min \] 使用梯度下降或其他优化算法调整合并权重 \( W_{\text{merged}} \)[^4]。 3. **逐层合并策略** 针对不同的网络层分别设计合并方案。对于某些关键层（如注意力机制中的 QKV 投影），可以直接叠加对应的 LoRA 更新矩阵；而对于其他层，则可以选择保留原始权重不变或者采用插值方式处理[^1]。 #### 实现代码示例 以下是 Python 中如何手动合并两个 LoRA 检查点的一个简单例子： ```python import torch def merge_lora_checkpoints(checkpoint_paths, alpha_values): merged_state_dict = {} for path, alpha in zip(checkpoint_paths, alpha_values): state_dict = torch.load(path) for key, value in state_dict.items(): if 'lora' in key: # Only process LoRA-related parameters if key not in merged_state_dict: merged_state_dict[key] = value * alpha else: merged_state_dict[key] += value * alpha return merged_state_dict # Example usage checkpoint_files = ['model_a.lora.pth', 'model_b.lora.pth'] alphas = [0.7, 0.3] merged_weights = merge_lora_checkpoints(checkpoint_files, alphas) torch.save(merged_weights, 'merged_model.lora.pth') ``` #### 注意事项 - 在实际操作前，请确认所有参与合并的 LoRA 模型具有相同的架构配置以及适配的基础预训练模型版本[^2]。 - 若存在冲突（比如部分张量维度不一致），可能需要额外编写逻辑解决这些问题。 ---
阅读全文

相关推荐

zip

python代码-基于deepseek模型实现医疗领域lora微调

其中finetune-multi-openmind.py和finetune-multi-conv.py文件可能包含了针对不同层进行微调的代码逻辑，而merge_model.py文件则可能负责将不同微调阶段得到的模型进行合并，以得到一个综合优化后的模型。...
zip

Alpaca-LoRA-RLHF-PyTorch

a full pipeline to finetune Alpaca LLM with LoRA and...PEFT的版本，目前从git上安装的是 0.3.0.dev0 版本，在merge_peft_adapter的时候有问题，需要切换到peft==0.2.0 (0.3.0.dev0 没有 _get_submodules()这个函数)
rar

将lora权重合并到原模型

对于“Merge_lora”这样的工具，它们往往还具备一些高级功能，例如： - 允许用户指定哪些层需要合并权重。 - 提供不同的权重融合方法，如简单的相加、按比例融合等。 - 支持多种权重格式，以便能够处理不同来源的...

LORA merge

### LoRa在物联网中的合并趋势 LoRa作为一种低功耗广域网(LPWA)技术，在特定应用场景下展现出独特的优势[^2]。然而，“LoRa合并”这一表述并不常见，通常讨论的是LoRa与其他技术的竞争与合作情况。 #### 1. LoRa的...

LoRA merge

def merge_lora_models(lora_model1, lora_model2): merged_weights_a = {} merged_weights_b = {} for key in lora_model1['a'].keys(): if key in lora_model2['a']: merged_weights_a[key] = lora_model1['...

为什么lora merge后的模型的eos token变了

首先，用户的问题是：在使用LoRA合并模型后，模型输出的EOStoken发生变化的原因。EOStoken指的是"EndofSequence"token，用于表示序列的结束。从系统级指令中，我需要：-所有行内数学表达式使用$...$格式。-独立公式...

llamafactory merge lora

def merge_lora_weights(lora_model): for name, param in lora_model.named_parameters(): if "lora_" in name: # Assuming all parameters with prefix 'lora_' are those added by PEFT. original_param = ...

lora实现中的merge

好的，用户现在想了解LoRA实现中的merge操作或方法。我需要先回忆一下LoRA的基本原理，然后结合之前提供的引用内容来组织回答。根据引用[2]，LoRA微调并没有改变原有的预训练参数，而是通过添加旁路参数，之后合并到...

import torch from peft import PeftModel from transformers import AutoTokenizer, AutoModel from transformers import AutoModelForCausalLM import transformers #加载原模型 model = AutoModelForCausalLM.from_pretrained('/root/workspace/transformers_from_scratch-main/DeepSeek-R1-Distill-Llama-8B', device_map="auto", torch_dtype="bfloat16", # 可根据需要修改为 bfloat16 或 float32 trust_remote_code=True) #加载微调的模型 lora_model_path = '/root/workspace/transformers_from_scratch-main/LLM_SFT'#微调后模型地址 print(lora_model_path) lora_model = PeftModel.from_pretrained(model,lora_model_path) #合并 merged_model = lora_model.merge_and_unload() #合并的模型存储 new_model_directory = '/root/workspace/LLM_Deepseek' #保存的地址 merged_model.save_pretrained(new_model_directory)使用合并之后的模型进行推理

调用merge_and_unload()方法将LoRA权重永久合并到基础模型中： python merged_model = merged_model.merge_and_unload() # 合并适配器到基础模型 merged_model.save_pretrained("merged_model_path") # 保存...

我在loraconfig里面找到了这个参数，解释一下use_dora (bool): Enable 'Weight-Decomposed Low-Rank Adaptation' (DoRA). This technique decomposes the updates of the weights into two parts, magnitude and direction. Direction is handled by normal LoRA, whereas the magnitude is handled by a separate learnable parameter. This can improve the performance of LoRA especially at low ranks. Right now, DoRA only supports linear and Conv2D layers. DoRA introduces a bigger overhead than pure LoRA, so it is recommended to merge weights for inference. For more information, see

好的，用户现在问的是关于LoRA配置中的use_dora参数，需要详细解释。首先，用户可能在使用LoRA进行模型微调时遇到了这个参数，不太清楚它的作用和适用场景。根据之前的对话历史，用户已经对DoRA有了初步了解，现在...

lora模型合并

PeftModel 提供了 merge_and_unload 方法，用于将 LoRA 模型的权重合并到原始的大模型中。以下是实现代码示例： python from peft import PeftModel from transformers import AutoTokenizer, ...

3090微调lora

model = model.merge_and_unload() # 移除adapter依赖关系并将改动融入主干网路之中 model.save_pretrained("./output/lora_model") # 存储修改后的整体模型文件夹路径 tokenizer.save_pretrained("./output/lora_...

LoRA微调YOLO

A(x))returnorig_out+ self.alpha* lora_outdef merge(self):#合并LoRA权重到原始卷积层，并移除LoRA参数#注意：这里合并只适用于当原始卷积是1x1卷积？实际上，我们的LoRA是1x1，而原始卷积可以是任意尺寸。#由于...

LoRA微调YOLOX

merged_model = lora.merge_lora(model) # 导出ONNX torch.onnx.export(merged_model, "yolox_lora.onnx") #### **6. 关键注意事项** 1. **层选择策略**： - 优先注入检测头（Head）的卷积层 - 避免浅层特征...

import torch from transformers import AutoModelForCausalLM, AutoTokenizer from peft import PeftModel import os # === 配置路径 === BASE_MODEL_PATH = "/home/vipuser/ai_writer_project_final_with_fixed_output_ui/models/Yi-6B" LORA_ADAPTER_PATH = "./yi6b-lora-optimized" MERGED_OUTPUT_PATH = "./yi6b-merged-fp16" # === 创建输出目录 === os.makedirs(MERGED_OUTPUT_PATH, exist_ok=True) # === 加载原始大模型 (FP16) === print("Loading base model...") base_model = AutoModelForCausalLM.from_pretrained( BASE_MODEL_PATH, torch_dtype=torch.float16, device_map="auto", trust_remote_code=True ) # === 加载 LoRA Adapter 并合并权重 === print("Loading LoRA adapter...") peft_model = PeftModel.from_pretrained(base_model, LORA_ADAPTER_PATH) print("Merging adapter into base model...") merged_model = peft_model.merge_and_unload() # === 保存合并后的模型 === print(f"Saving merged model to: {MERGED_OUTPUT_PATH}") merged_model.save_pretrained(MERGED_OUTPUT_PATH) # === 保存分词器 === tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL_PATH, trust_remote_code=True) tokenizer.save_pretrained(MERGED_OUTPUT_PATH) print("✅ Merge complete!")

我们使用transformers和peft库来合并LoRA适配器到基础模型并保存。 步骤： 1. 加载基础模型（Yi-6B）和对应的tokenizer。 2. 使用peft库的PeftModel.from_pretrained方法加载LoRA适配器。 3. 使用merge_and_...

import json import torch from typing import Dict, List from torch.utils.data import Dataset import transformers from peft import LoraConfig, TaskType, get_peft_model from torch.utils.data import DataLoader, SequentialSampler from transformers import Trainer, TrainingArguments from lora_plus import LoraPlusTrainer from torch.utils.data import RandomSampler from swanlab.integration.transformers import SwanLabCallback import swanlab import numpy as np import pandas as pd import re from typing import Dict, List import torch from tqdm import tqdm from transformers import PreTrainedTokenizer from transformers import AutoTokenizer import torch.nn as nn from lora_plus import LoraPlusTrainer # 确保已安装lora_plus库 from transformers import PreTrainedModel # 初始化SwanLab swanlab.init("Finetune-Llama3.2-with-Encoder") swanlab_callback = SwanLabCallback( project="Finetune-Llama3.2-with-Encoder", experiment_name="Finetune-Llama3.2-with-Encoder" ) # 常量定义 CHEM_FORMULA_SIZE = r"([A-Z][a-z]*)([0-9]*)" VALID_ELEMENTS = ["C", "N", "P", "O", "S", "Si", "I", "H", "Cl", "F", "Br", "B", "Se", "Fe", "Co", "As", "K", "Na"] element_to_idx = {elem: idx for idx, elem in enumerate(VALID_ELEMENTS)} # 化学式转密集向量 def formula_to_dense(chem_formula: str) -> torch.Tensor: dense_vec = torch.zeros(len(VALID_ELEMENTS), dtype=torch.float32) matches = re.findall(CHEM_FORMULA_SIZE, chem_formula) for chem_symbol, num_str in matches: num = 1 if num_str == "" else int(num_str) if chem_symbol in element_to_idx: idx = element_to_idx[chem_symbol] dense_vec[idx] += num return dense_vec # 位置编码生成 (PyTorch实现) def positional_encoding(max_position: int, d_model: int, min_freq: float = 1e-4) -> torch.Tensor: position = torch.arange(max_position).unsqueeze(1) div_term = torch.exp(torch.arange(0, d_model, 2) * (-torch.log(torch.tensor(min_freq)) / d_model)) pos_enc = torch.zeros(max_position, d_model) pos_enc[:, 0::2] = torch.sin(position * div_term) pos_enc[:, 1::2] = torch.cos(position * div_term) return pos_enc # 初始化位置编码矩阵 P = positional_encoding(2000000, 254) dimn = 254 # 与位置编码维度一致 # 质谱数据编码 def encode_spectra(rag_tensor: list, P: torch.Tensor, dimn: int) -> torch.Tensor: encoded_list = [] for sample in rag_tensor: mz_list, intensity_list = sample # 创建基础特征矩阵 [m/z, intensity] base_features = torch.tensor([mz_list, intensity_list], dtype=torch.float32).T # 添加位置编码特征 pos_enc = torch.stack([P[min(int(mz), P.size(0)-1)] for mz in mz_list]) # 组合所有特征 [m/z, intensity, pos_enc...] features = torch.cat([base_features, pos_enc], dim=1) # 填充/截断到固定长度 if features.size(0) < 501: padding = torch.zeros(501 - features.size(0), features.size(1)) features = torch.cat([features, padding], dim=0) else: features = features[:501] encoded_list.append(features) return torch.stack(encoded_list) # 质谱数据预处理 def preprocess_spectra(df: pd.DataFrame) -> list: spectra_list = [] for idx, row in tqdm(df.iterrows(), total=len(df)): spectrum_str = row['Spectrum'] total_mass = row['Total Exact Mass'] # 解析质谱字符串 pairs = spectrum_str.split() mz_list, intensity_list = [], [] for pair in pairs: mz, intensity = pair.split(':') mz_list.append(float(mz)) intensity_list.append(float(intensity)) # 添加总精确质量 mz_list.append(total_mass) intensity_list.append(0.0) # 四舍五入处理 mz_list = [round(mz, 2) for mz in mz_list] intensity_list = [round(intensity, 2) for intensity in intensity_list] spectra_list.append([mz_list, intensity_list]) return spectra_list class MolecularDataset(Dataset): def __init__(self, csv_path: str, tokenizer: AutoTokenizer, max_seq_len: int = 512): self.df = pd.read_csv(csv_path) self.tokenizer = tokenizer self.max_seq_len = max_seq_len self.pad_token_id = tokenizer.pad_token_id # 预处理质谱数据 spectra_data = preprocess_spectra(self.df) self.spec_encoded = encode_spectra(spectra_data, P, dimn) def __len__(self): return len(self.df) def __getitem__(self, idx) -> dict: # 分子式向量和质谱矩阵（保持不变） formula = self.df.iloc[idx]['Molecular Formula'] formula_vec = formula_to_dense(formula).unsqueeze(0) spec_matrix = self.spec_encoded[idx] # SELFIES目标序列 selfies_str = self.df.iloc[idx]['SELFIES'] encoding = self.tokenizer( selfies_str, add_special_tokens=True, # 包含和 padding='max_length', truncation=True, max_length=self.max_seq_len, return_tensors='pt' ) # 输入序列仅包含开始符号 input_ids = encoding['input_ids'].squeeze(0) attention_mask = encoding['attention_mask'].squeeze(0) # 标签为完整的目标序列（替换padding为-100） labels = input_ids.clone() labels[labels == self.pad_token_id] = -100 return { 'encoder1_inputs': formula_vec, 'encoder2_inputs': spec_matrix, 'input_ids': input_ids, 'attention_mask': attention_mask, 'labels': labels } # 加载tokenizer tokenizer = AutoTokenizer.from_pretrained('/root/workspace/d21lv5s7v38s73b4ddlg/checkpoint-2500') # 创建数据集 dataset = MolecularDataset('/root/workspace/d21lv5s7v38s73b4ddlg/SELFIES-SFT.csv', tokenizer) def custom_collator(features: List[Dict]) -> Dict: batch = { 'encoder1_inputs': torch.stack([f['encoder1_inputs'] for f in features]), # 形状：(batch_size, 1, 18) 'encoder2_inputs': torch.stack([f['encoder2_inputs'] for f in features]), # 形状：(batch_size, 501, 258) 'input_ids': torch.stack([f['input_ids'] for f in features]), 'attention_mask': torch.stack([f['attention_mask'] for f in features]), 'labels': torch.stack([f['labels'] for f in features]), } return batch class LlamaWithEncoder(PreTrainedModel): def __init__(self, base_model, encoder1_dim=18, encoder2_dim=256, hidden_dim=512): # 添加config属性 self.config = base_model.config super().__init__(self.config) # 存储基础模型 self.model = base_model # 第一个Transformer Encoder encoder1_layer = nn.TransformerEncoderLayer( d_model=encoder1_dim, nhead=3, dim_feedforward=hidden_dim, batch_first=True ) self.encoder1 = nn.TransformerEncoder(encoder1_layer, num_layers=2) # 第二个Transformer Encoder encoder2_layer = nn.TransformerEncoderLayer( d_model=encoder2_dim, nhead=8, dim_feedforward=hidden_dim, batch_first=True ) self.encoder2 = nn.TransformerEncoder(encoder2_layer, num_layers=2) # 投影层 self.proj1 = nn.Linear(encoder1_dim, base_model.config.hidden_size) self.proj2 = nn.Linear(encoder2_dim, base_model.config.hidden_size) # 融合层 self.fusion = nn.Linear(2 * base_model.config.hidden_size, base_model.config.hidden_size) # 添加embedding层引用 self.embed_tokens = base_model.get_input_embeddings() # 添加PEFT所需的方法 def get_input_embeddings(self): return self.embed_tokens def set_input_embeddings(self, value): self.embed_tokens = value def get_output_embeddings(self): return self.model.get_output_embeddings() def set_output_embeddings(self, new_embeddings): self.model.set_output_embeddings(new_embeddings) def get_base_model(self): return self.model # 重写前向传播 def forward( self, input_ids=None, attention_mask=None, encoder1_inputs=None, encoder2_inputs=None, labels=None, past_key_values=None, output_attentions=None, output_hidden_states=None, return_dict=None, **kwargs ): # 处理编码器输入 enc1_out = self.encoder1(encoder1_inputs) # (batch_size, 1, 18) enc1_out = enc1_out.mean(dim=1) # (batch_size, 18) enc1_proj = self.proj1(enc1_out) # (batch_size, hidden_size) enc2_out = self.encoder2(encoder2_inputs) # (batch_size, 501, 256) enc2_out = enc2_out.mean(dim=1) # (batch_size, 256) enc2_proj = self.proj2(enc2_out) # (batch_size, hidden_size) # 融合编码器输出 fused = self.fusion(torch.cat([enc1_proj, enc2_proj], dim=1)) # (batch_size, hidden_size) fused = fused.unsqueeze(1) # (batch_size, 1, hidden_size) # 获取嵌入层输出 embeddings = self.embed_tokens(input_ids) # 使用存储的嵌入层 # 将融合结果与第一个token的嵌入结合 if embeddings.size(1) > 0: # 使用加权平均而不是直接替换 embeddings[:, 0, :] = 0.7 * embeddings[:, 0, :] + 0.3 * fused[:, 0, :] # 调用基础模型 return self.model( inputs_embeds=embeddings, attention_mask=attention_mask, labels=labels, past_key_values=past_key_values, output_attentions=output_attentions, output_hidden_states=output_hidden_states, return_dict=return_dict, **kwargs ) # 加载预训练模型 base_model = transformers.AutoModelForCausalLM.from_pretrained( "/root/workspace/d21lv5s7v38s73b4ddlg/checkpoint-2500", trust_remote_code=True, torch_dtype=torch.bfloat16, ) model = LlamaWithEncoder(base_model) lora_config = LoraConfig( r=8, lora_alpha=16, target_modules="all-linear", # 目标注意力层 lora_dropout=0.0, bias="none", task_type="CAUSAL_LM" ) model = get_peft_model(model, lora_config) model.print_trainable_parameters() # 输出示例：0.3% 参数可训练 training_args = TrainingArguments( output_dir="./llama3.2-SELFIES-SFT", per_device_train_batch_size=24, gradient_accumulation_steps=24, num_train_epochs=1, learning_rate=5.0e-05, optim="adamw_torch", logging_steps=10, bf16=True, save_strategy="steps", lr_scheduler_type='cosine', max_grad_norm=1.0, save_steps=2000, warmup_steps=0 ) class CustomTrainer(LoraPlusTrainer): def get_train_dataloader(self) -> DataLoader: """ Returns the training dataloader using a random sampler to shuffle the dataset. """ return DataLoader( self.train_dataset, batch_size=self.args.train_batch_size, shuffle=True, collate_fn=self.data_collator, drop_last=False, ) # 使用修改后的 CustomTrainer lp_trainer = CustomTrainer( model, training_args, train_dataset=dataset, tokenizer=tokenizer, data_collator=custom_collator, callbacks=[swanlab_callback], ) lp_trainer.train() lp_trainer.save_model(output_dir='./llama3.2-SELFIES-SFT') # 合并LoRA权重 model = model.merge_and_unload() # 保存整个模型（包括自定义编码器和融合层）为safetensors格式 save_directory = './llama3.2-SELFIES' model.save_pretrained(save_directory, safe_serialization=True) # 同时保存tokenizer tokenizer.save_pretrained(save_directory)解决报错LlamaForCausalLM( (model): LlamaModel( (embed_tokens): Embedding(3289, 3072) (layers): ModuleList( (0-27): 28 x LlamaDecoderLayer( (self_attn): LlamaAttention( (q_proj): lora.Linear( (base_layer): Linear(in_features=3072, out_features=3072, bias=False) (lora_dropout): ModuleDict( (default): Identity() ) (lora_A): ModuleDict( (default): Linear(in_features=3072, out_features=8, bias=False) ) (lora_B): ModuleDict( (default): Linear(in_features=8, out_features=3072, bias=False) ) (lora_embedding_A): ParameterDict() (lora_embedding_B): ParameterDict() (lora_magnitude_vector): ModuleDict() ) (k_proj): lora.Linear( (base_layer): Linear(in_features=3072, out_features=1024, bias=False) (lora_dropout): ModuleDict( (default): Identity() ) (lora_A): ModuleDict( (default): Linear(in_features=3072, out_features=8, bias=False) ) (lora_B): ModuleDict( (default): Linear(in_features=8, out_features=1024, bias=False) ) (lora_embedding_A): ParameterDict() (lora_embedding_B): ParameterDict() (lora_magnitude_vector): ModuleDict() ) (v_proj): lora.Linear( (base_layer): Linear(in_features=3072, out_features=1024, bias=False) (lora_dropout): ModuleDict( (default): Identity() ) (lora_A): ModuleDict( (default): Linear(in_features=3072, out_features=8, bias=False) ) (lora_B): ModuleDict( (default): Linear(in_features=8, out_features=1024, bias=False) ) (lora_embedding_A): ParameterDict() (lora_embedding_B): ParameterDict() (lora_magnitude_vector): ModuleDict() ) (o_proj): lora.Linear( (base_layer): Linear(in_features=3072, out_features=3072, bias=False) (lora_dropout): ModuleDict( (default): Identity() ) (lora_A): ModuleDict( (default): Linear(in_features=3072, out_features=8, bias=False) ) (lora_B): ModuleDict( (default): Linear(in_features=8, out_features=3072, bias=False) ) (lora_embedding_A): ParameterDict() (lora_embedding_B): ParameterDict() (lora_magnitude_vector): ModuleDict() ) ) (mlp): LlamaMLP( (gate_proj): lora.Linear( (base_layer): Linear(in_features=3072, out_features=8192, bias=False) (lora_dropout): ModuleDict( (default): Identity() ) (lora_A): ModuleDict( (default): Linear(in_features=3072, out_features=8, bias=False) ) (lora_B): ModuleDict( (default): Linear(in_features=8, out_features=8192, bias=False) ) (lora_embedding_A): ParameterDict() (lora_embedding_B): ParameterDict() (lora_magnitude_vector): ModuleDict() ) (up_proj): lora.Linear( (base_layer): Linear(in_features=3072, out_features=8192, bias=False) (lora_dropout): ModuleDict( (default): Identity() ) (lora_A): ModuleDict( (default): Linear(in_features=3072, out_features=8, bias=False) ) (lora_B): ModuleDict( (default): Linear(in_features=8, out_features=8192, bias=False) ) (lora_embedding_A): ParameterDict() (lora_embedding_B): ParameterDict() (lora_magnitude_vector): ModuleDict() ) (down_proj): lora.Linear( (base_layer): Linear(in_features=8192, out_features=3072, bias=False) (lora_dropout): ModuleDict( (default): Identity() ) (lora_A): ModuleDict( (default): Linear(in_features=8192, out_features=8, bias=False) ) (lora_B): ModuleDict( (default): Linear(in_features=8, out_features=3072, bias=False) ) (lora_embedding_A): ParameterDict() (lora_embedding_B): ParameterDict() (lora_magnitude_vector): ModuleDict() ) (act_fn): SiLU() ) (input_layernorm): LlamaRMSNorm((3072,), eps=1e-05) (post_attention_layernorm): LlamaRMSNorm((3072,), eps=1e-05) ) ) (norm): LlamaRMSNorm((3072,), eps=1e-05) (rotary_emb): LlamaRotaryEmbedding() ) (lm_head): Linear(in_features=3072, out_features=3289, bias=False) ) got multiple values for keyword argument 'inputs_embeds'

2. 使用LoRA微调大模型时，如何避免参数冲突？ 3. 在自定义模型中使用Hugging Face的PreTrainedModel基类需要注意哪些问题？ 4. 如何优化自定义数据集的加载和预处理过程以提高训练效率？您的错误信息表明在调用基础...

stable diffusion lora 推荐

from supermerger import merge_models, set_lora_weights # 设置LoRA权重配置 set_lora_weights(lora_model_path="path/to/lora", weights=[0.7, 0.3]) # 合并两个checkpoint模型 merged_checkpoint = merge_...

sd lora的使用

from networks.merge_lora import merge_lora_weights result = merge_lora_weights(args.sd_model, args.models, args.ratios) result.save(args.save_to) 此段程序允许使用者灵活设定不同 LoRA 层次间的...

python stable diffusion lora

另外，关于执行额外的任务如合并元数据到单个JSON文件中，可参照给定指令cd SDXL-Train python ./finetune/merge_all_to_metadata.py "/本地数据路径" "/本地数据路径/meta_clean.json"来进行相应处理[^2]。...

qwen image edit lora

model = model.merge_and_unload() # 保存合并后的模型 output_dir = "./merged_model" model.save_pretrained(output_dir) tokenizer.save_pretrained(output_dir) #### 4. 进行图像编辑任务 加载模型后，...

什么是 SAP HANA XS JavaScript

SAP HANA XS Javascript (简称 XSJS) 是一种编程模型，应用程序开发人员可以使用它来创建原生 SAP HANA 应用程序，按需向 UI 客户端暴露数据。 应用程序开发人员定义了用于暴露数据以响应通过 HTTP 请求来获取数据的客户端业务逻辑。 使用 XSJS 编程模型，我们可以： 使用 XS JavaScript 创建应用程序 创建可重用的 XS JavaScript 库 利用 XS JavaScript 应用程序编程接口 (API) 调试 XS JavaScript 跟踪 XS
gz

perl-Set-Infinite-0.65-29.el8.tar.gz

# 适用操作系统：Centos8 #Step1、解压 tar -zxvf xxx.el8.tar.g......

大家在看

recommend-type

Onvif查找IPcamera和获取Profile,StreamUri

最近在做ONVIF的开发，但是发现网络上面用C#写的代码太少，有些项目，比如ISPY Connect,Onvif Device Manager,要么就是C++的代码，要么就没有源代码。本人对C++不熟悉，而且ONVIF的C++库的代码量很多。对于我的开发来说，我只需要满足搜索到摄像头，并查找到它的Uri即可，所以决定自己写代码。 程序中主要有两个类：Discovery.cs用来搜索局域网内的IPCamera.OnvifIPCameraOperator.cs 用来获取相应摄像头的信息。
recommend-type

WindFarmer+4.2.21.0.zip

WindFarmer4.2.21.0风资源计算软件，亲测可用，建议采用Windows7兼容模式安装。
recommend-type

USB设备过滤驱动[Src+Bin]

U盘过滤驱动完全实现，包括应用程序和驱动程序
recommend-type

AUTOSAR acceptance test官方标准文档

AUTOSAR acceptance test官方标准文档，最新版本12.2016: R1.2 从官方网站获取 https://www.autosar.org/nc/document-search
recommend-type

Down For Everyone Or Just Me?-crx插件

语言:English (United States) 检查当前站点是否对所有人或仅您而言都是关闭的 想知道网站是否关闭或仅仅是您吗？ 安装此扩展程序以查找。 如果您在加载网站时遇到错误，则地址栏中的书签图标旁边会出现一个向下箭头。 单击向下箭头以查看网站是否关闭或仅仅是您自己。 这是http://downforeveryoneorjustme.com的非官方扩展名。

最新推荐

recommend-type

perl-Test-Compile-2.2.2-2.el8.tar.gz

# 适用操作系统：Centos8 #Step1、解压 tar -zxvf xxx.el8.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm
recommend-type

HTML时间格式化工具及测试页面介绍

标题 "BoolStudio.github.io" 暗示这是一个与GitHub相关的在线资源，具体来说是与BoolStudio相关的网页地址。GitHub是一个著名的代码托管平台，它支持Git版本控制系统，允许用户在云端存储和共享代码。BoolStudio可能是GitHub上的一个用户或组织账户名称，而该页面可能是他们托管的项目或个人页面的入口。 描述中的信息包含了HTML元素和JavaScript代码片段。这段描述展示了一个测试页文件的部分代码，涉及到HTML的标题（title）和内嵌框架（iframe）的使用，以及JavaScript中Date对象的扩展功能。 从描述中我们可以分析出以下知识点： 1. HTML标题（Title）: 在HTML中，`<title>`标签用于定义网页的标题，它会显示在浏览器的标题栏或页面的标签上。在描述中出现了`<title>现在时间</title>`，这表明网页的标题被设置为了“现在时间”。 2. 微软时间: 这可能指的是在网页中嵌入微软产品的日期和时间显示。尽管这部分内容在描述中被删除了，但微软时间通常与Windows操作系统的日期和时间显示相关联。 3. iframe元素: `<iframe>`标签定义了一个内嵌框架，可以在网页中嵌入另一个文档。在描述中出现的是`<iframe src"></iframe>`，这表示创建了一个空的iframe元素，其src属性为空，实际上没有嵌入任何内容。通常src属性会被设置为另一个HTML文档的URL，用来在当前页面中显示外部页面的内容。 4. JavaScript日期格式化: 描述中包含了一段JavaScript代码，这段代码扩展了Date对象的功能，允许它根据提供的格式字符串（fmt）返回格式化的日期和时间。例如，如果fmt是'y年M月d日 h时m分s秒'，则该函数会按照这个格式返回当前日期和时间。 具体到代码实现，以下步骤展示了如何在JavaScript中扩展Date对象并格式化日期： - 首先创建了一个对象o，该对象包含日期和时间的不同部分，例如年(y)、月(M)、日(d)、时(h)、分(m)、秒(s)。 - 使用正则表达式检查格式字符串fmt中是否包含年份的占位符（y+），如果存在则将其替换为四位数的年份，不足部分用0补齐。 - 使用for...in循环遍历对象o中的每一个键值对，并使用正则表达式测试这些键（如年、月、日等）是否在格式字符串中存在。如果存在，则替换为相应的日期时间值。 这个知识点展示了在JavaScript中如何自定义对象的方法，以及如何使用正则表达式进行字符串的搜索和替换。 标签 "HTML" 表明这个文件主要涉及到超文本标记语言（HTML），这是构建网页内容的标准标记语言，它允许开发者使用标签来定义网页的结构和内容。HTML文件通常包含各种元素，如段落、链接、图片、表格和表单等。 压缩包子文件的文件名称列表中的 "BoolStudio.github.io-main" 可能指的是一个包含 "BoolStudio.github.io" 网站主要文件的压缩包。通常，网站项目会包含多个文件和资源，为了便于管理和分发，开发者会将这些文件打包成一个压缩文件。在本例中，"main" 可能表示该压缩包包含了网站的主要文件和代码。 通过对给定文件信息的分析，我们可以了解到网页设计和开发的相关知识点，特别是HTML文档结构、JavaScript对象和函数扩展以及如何在网站项目中组织文件。这些知识对于前端开发者来说是非常重要的，能够帮助他们创建更加动态和功能丰富的网页应用。
recommend-type

Elixir测试：从用例执行到覆盖率分析

### Elixir 测试：从用例执行到覆盖率分析 #### 1. 测试用例执行 在测试中，以 `Test` 结尾且包含 `use ExUnit` 的模块被视为测试用例。测试用例本质上是设置回调和测试的集合。测试用例的执行方式有两种：并发执行或顺序执行。使用 `async: true` 选项的测试用例将并发执行，其余的则按定义顺序（默认随机）顺序执行。 测试用例的执行流程如下： 1. 执行所有 `setup_all` 回调。 2. 执行所有测试及其特定的设置和拆卸回调。 `setup_all` 回调按定义顺序在同一进程中执行。在运行任何测试之前，测试用例将生成一个进程，在该进程中运行所有
recommend-type

Android Studio 时间延时

<think> 我们参考多个引用，总结在Android Studio中实现时间延时的方法。根据引用[1]和[2]，我们知道有几种常见的延时方法，包括使用Handler的postDelayed方法、使用Timer和TimerTask以及使用Thread.sleep。引用[3]和[5]则展示了具体代码示例。 具体方法如下： 1. **使用Handler的postDelayed方法**（推荐在主线程中使用，避免直接操作UI线程的问题）： ```java new Handler().postDelayed(new Runnable() { @Override
recommend-type

IMS Open Corpus Workbench：打造高效大型文本语料库管理工具

IMS Open Corpus Workbench（以下简称CWB）是一个强大的开源工具集，它专门用于管理和查询大型的、带有语言注释的文本语料库。这项工具有着广泛的应用领域，包括语言学研究、自然语言处理、人文科学研究等。 ### 标题知识点： #### 大型文本语料库的索引和查询工具 大型文本语料库指的是含有大量文本数据的数据库，其中包含的文本量通常以百万计。这些数据可能是书面文本、口语录音文字转写等形式。对于如此庞大的数据集，索引是必要的，它可以帮助研究者快速定位到感兴趣的片段，而查询工具则提供了从这些大量数据中提取特定信息的能力。 #### 开源 CWB作为一个开源工具，意味着其源代码对所有人开放，并且可以免费使用和修改。开源项目通常是由社区驱动，有着活跃的开发者和用户群体，不断对工具进行改进和拓展。这种模式促进了创新，并且有利于长期维护和升级。 ### 描述知识点： #### 管理和查询带有语言注释的文本 在语料库中，文本数据经常会被加上各种形式的语言注释，比如句法结构、词性标注、语义角色等。CWB支持管理这类富含语言信息的语料库，使其不仅仅保存原始文本信息，还整合了深层的语言知识。此外，CWB提供了多种查询语言注释数据的方式，使得用户可以针对特定的注释信息进行精确查询。 #### 核心组件：CQP（Corpus Query Processor） CQP是CWB中的核心组件，是一个高度灵活和高效的查询处理器。它支持在终端会话中交互式地使用，这为熟悉命令行界面的用户提供了一个强大的工具。同时，CQP也可以嵌入到其他程序中，比如Perl脚本，从而提供编程式的语料库访问方式。这为高级用户提供了一个强大的平台，可以编写复杂的查询，并将查询结果集成到其他程序中。 #### 基于Web的GUI CQPweb 除了命令行界面外，CWB还提供了一个基于Web的图形用户界面CQPweb，使得不熟悉命令行的用户也能够方便地使用CWB的强大功能。CQPweb通常允许用户通过网页直接构建查询，并展示查询结果，极大地降低了使用门槛。 ### 标签知识点： #### 开源软件 CWB作为开源软件，其主要特点和优势包括： - **社区支持**：开放源代码鼓励了全球开发者共同参与，提供错误修正、功能增强、新特性开发等。 - **定制化**：用户可以根据自己的需求对源代码进行修改，从而实现定制化的功能。 - **透明性**：源代码的开放确保了软件工作的透明性，用户可以清楚了解软件的工作原理和数据处理方式。 - **可靠性**：由于代码的公开性，很多用户和开发者可以共同审查代码，提高了软件的可靠性和安全性。 - **成本效益**：开源软件通常不需要支付昂贵的许可费用，对预算有限的个人和机构特别友好。 ### 压缩包子文件的文件名称列表知识点： #### cwb-3.0.0-osx-10.5-universal 这个文件名提供了关于该软件包的重要信息： - **cwb**：表示这是IMS Open Corpus Workbench的软件包。 - **3.0.0**：表示这个包的版本号，了解版本信息对于获取支持、查看更新日志、了解新特性等方面很重要。 - **osx**：表示这个软件包是为Mac OS X操作系统设计的。 - **10.5**：这个数字指明了这个软件包支持的操作系统版本至少是Mac OS X 10.5。 - **universal**：表明这个软件包是为不同架构的处理器（比如32位和64位）设计的通用二进制文件，提高了软件包的兼容性和可移植性。 综上所述，IMS Open Corpus Workbench是一个为处理带有语言注释的大型文本语料库而设计的开源工具集，它以高效且灵活的查询处理器CQP为核心，提供了命令行和基于Web的两种交互方式，极大地促进了语言学和语言技术领域的研究与应用。由于其开源特性，CWB得到了广泛的使用和不断的改进。
recommend-type

基于属性测试的深入解析与策略探讨

### 基于属性测试的深入解析与策略探讨 #### 1. 基于属性测试中的收缩机制 在基于属性的测试中，当测试失败时，像 `stream_data` 这样的框架会执行收缩（Shrinking）操作。收缩的目的是简化导致测试失败的输入，同时确保简化后的输入仍然会使测试失败，这样能更方便地定位问题。 为了说明这一点，我们来看一个简单的排序函数测试示例。我们实现了一个糟糕的排序函数，实际上就是恒等函数，它只是原封不动地返回输入列表： ```elixir defmodule BadSortTest do use ExUnit.Case use ExUnitProperties pro
recommend-type

ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key && \

<think> 根据用户的问题要求，我需要详细解释命令`ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key`的含义、后续操作、常见问题及解决办法。同时，我需要参考提供的引用内容，并遵循系统级指令（如LaTeX格式、中文回答、生成相关问题等）。 首先，分析命令的组成部分： - `ssh-keygen`：生成、管理和转换SSH密钥的工具。 - `-t rsa`：指定密钥类型为RSA算法。 - `-f /etc/ssh/ssh_host_rsa_key`：指定生成的私钥文件路径为`/etc/ssh/ssh_host_rsa_key`。对应的公钥文件会在同一
recommend-type

挑战性开源平台游戏YAGAC：无故事忍者冒险

Y.A.G.A.C（Yet Another Great Arcade Classic），是一款免费的开源伪2D平台游戏，它在传统平台游戏的基础上融入了3D游戏元素，让玩家在一个拥有2D精灵的3D环境中进行操作。YAGAC游戏以其高挑战性和上瘾性而著称，吸引了众多游戏爱好者和编程高手的关注。 首先，让我们深入了解这款游戏的核心玩法。YAGAC的最大特点是在一个基本的2D平面内，玩家可以控制角色进行运动，但游戏环境却是3D制作的。这种设计为玩家带来了全新的视觉体验和操作感受。在YAGAC中，玩家扮演的是一个身手敏捷的忍者，任务是在错综复杂的地牢中生存下来，地牢充满了各种陷阱和敌人，如机器人等。为了逃生，玩家需要在各种关卡中寻找隐藏的彩球，这些彩球决定了玩家能够到达的区域范围。 在游戏过程中，收集到的彩球会改变对应颜色平台的属性，使原本脆弱的平台变得牢固，从而为玩家打开新的道路。这样的设计不仅考验玩家的反应和速度，还考验他们的策略和记忆能力。YAGAC的游戏关卡设计非常巧妙，经常需要玩家反复尝试，每一次尝试都可能发现新的线索和策略，这样的设计增加了游戏的重复可玩性。 YAGAC使用的引擎在游戏流畅性方面表现出色，这也是游戏的一大强项。一款游戏引擎的强大与否直接关系到游戏体验的好坏，YAGAC的开发团队选择或者开发了一个能够高效处理3D图形和2D动作的引擎，确保了游戏在各种配置的计算机上都能保持良好的运行状态和响应速度。 接下来，我们来探讨YAGAC的开源属性。由于YAGAC是开源的，这意味着游戏的源代码是开放的，任何个人或组织都可以访问、修改并重新分发该软件。开源软件通常由社区维护，并且鼓励用户贡献代码，共同改进游戏。对于像YAGAC这样的游戏来说，开源可以吸引更多的开发者参与进来，共同完善游戏体验。玩家和开发者可以对游戏进行本地化、修改游戏机制，甚至是增加新的内容和关卡。 开源平台游戏的概念不仅限于提供免费的游戏体验，它还鼓励创新和协作。开源文化促进知识共享和技术进步，这在软件开发领域尤为重要。同时，玩家也可以从中学到编程知识，因为游戏的开源性质允许用户查看和学习游戏背后的代码。 最后，关于YAGAC的文件名称“yagac”，这很可能是游戏的主程序文件名或者主目录名。当玩家在计算机上进行下载和安装时，可能会遇到这样的文件名，识别这一点有助于玩家快速定位和管理游戏文件。 总的来说，Y.A.G.A.C.作为一款开源平台游戏，在游戏玩法设计、开源文化和3D游戏引擎的流畅性等方面，都显示出其独特的优势。游戏的挑战性和上瘾性，以及社区驱动的开发模式，都为游戏爱好者和开源爱好者提供了一个理想的游戏和学习平台。对于对游戏开发感兴趣的玩家来说，YAGAC无疑是一个研究和实践的良好起点。
recommend-type

状态化属性测试与测试数据随机化及测试生命周期解析

# 状态化属性测试与测试数据随机化及测试生命周期解析 ## 状态化属性测试 ### 状态化系统测试的引入 之前我们主要探讨了针对纯无状态函数的属性测试，这类函数接收输入并返回输出。然而，属性测试同样适用于有状态系统的测试。有状态系统是指那些会携带状态的系统，例如数据库。 在之前的示例中，我们仅使用属性测试来生成数据，然后将其输入到代码中并对结果进行断言。但对于有状态系统，情况有所不同：我们需要处理状态的设置，并仅在系统处于特定状态时执行某些操作。 ### 对有状态系统进行建模 我们可以利用属性测试框架生成随机数据的能力，为有状态系统生成随机命令。例如，若有状态系统是数据库，我们就能生成针
recommend-type

icpc英语字典

<think> 首先，用户的问题是：“我想查找icpc相关的英语字典 请问icpc英语专业字典”。用户想查找与ICPC（International Collegiate Programming Contest）相关的英语字典，特别是专业字典。 现在，回顾系统指令： - 所有行内数学表达式必须使用$...$格式。 - 独立公式使用$$...$$。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾自然地添加引用标识。 - 回答结构清晰，帮助用户逐步解决问题。 - 保持真实可靠。 用户提供了几个引用： - 引用[1]：关于填字游戏和寻找变形词的程序。