- 博客(124)
- 收藏
- 关注
RSS订阅原创 LLaMA-Factory 基于 LoRA 的 SFT 指令微调及相关功能梳理
自动评估模型生成效果，计算文本生成指标（如 BLEU 和 ROUGE）。微调完成后，可以动态加载 LoRA 微调结果，验证模型效果。文件，将数据集注册到系统中。
2024-12-17 10:49:04
1657
原创 LLaMA-Factory QuickStart 流程详解
LLaMA-Factory 是一个整合主流高效训练与微调技术的框架，支持主流开源大模型（如 LLaMA、Qwen、Baichuan 等），提供便捷的接口和工作台，降低大模型微调门槛。确保硬件环境满足需求（如 RTX 3090/4090）。LLaMA-Factory 支持。
2024-12-17 10:47:10
1403
原创 Neo4j 构建文本类型的知识图谱
使用 Neo4j 构建文本类型的知识图谱的核心步骤包括文本数据的预处理、实体和关系的提取、将数据导入图数据库，以及利用 Cypher 进行查询和分析。通过结合 NLP 技术，能够从文本中自动提取出有价值的信息，并构建一个高效的图结构，以支持复杂的查询和知识发现。
2024-10-16 22:26:11
1539
2
原创 Python--WinError 2 的常见解决方案
报错信息：FileNotFoundError: [WinError 2] 系统找不到指定的文件。这个错误提示说明在调用时，系统找不到指定的文件或可执行程序。在代码中，这个问题主要是因为找不到 Java JAR 文件，也就是用于计算 METEOR 分数的评估工具。
2024-10-14 08:15:41
3449
原创 T5--详解
T5的架构基于，并且与BERT、GPT不同，它是一个Encoder-Decoder（编码器-解码器）结构。它主要用于生成任务，如摘要、翻译、问答、生成式文本分类等。T5 是一种功能强大且灵活的Transformer模型，它能够统一处理各种NLP任务，并通过预训练在大规模数据集上取得了卓越的性能。其“文本到文本”的框架让T5在文本生成、翻译、分类、问答等多种任务上表现优异。通过Hugging Face的库，可以方便地加载和使用T5模型来处理各种NLP任务。
2024-10-12 08:27:19
2722
原创 GRU--详解
# 超参数output_size = input_size # 输出大小和输入大小相同，都是字符集大小# 损失函数和优化器GRU 是一种强大的循环神经网络架构，在处理序列数据（如文本生成、语言模型等）时非常有效。其结构相比 LSTM 简化了门控机制，但仍能有效捕捉长时间依赖。通过PyTorch等框架，可以快速构建并训练GRU模型，并应用于诸如文本生成等任务。
2024-10-10 12:33:12
2985
原创 BART--详解
# 加载BART分词器和预训练的文本摘要模型# 输入待生成摘要的长文本text = """"""# 对输入文本进行编码# 使用BART进行文本摘要生成# 解码生成的摘要文本BART模型概述：BART是结合了BERT和GPT优势的序列到序列生成模型，广泛用于文本生成任务，如摘要、翻译、对话生成等。基本结构：由双向编码器（类似BERT）和自回归解码器（类似GPT）组成。通过多种扰动输入的方法进行去噪自编码器训练。经典代码：使用Hugging Face的。
2024-10-10 12:28:53
2400
原创 BERT--详解
BERT模型概述：BERT是基于Transformer的双向预训练模型，擅长捕捉上下文语义信息，广泛应用于NLP任务。基本结构：主要由输入层、多层Transformer Encoder组成，通过MLM和NSP进行预训练。经典代码：使用Hugging Face的库，简单实现BERT的文本处理。生成任务示例：尽管BERT主要用于理解任务，但可以通过MLM进行词填充等简单生成任务。
2024-10-08 14:00:14
1815
原创 Transformer--详解
Transformer凭借其并行化的结构、自注意力机制以及位置编码技术，能够非常有效地处理长距离依赖问题。它被广泛应用于各类自然语言处理任务，尤其是在大规模预训练语言模型中（如BERT、GPT等）。
2024-10-08 13:56:59
1261
原创 Python--解决占用重复内存问题
通过 TrainingArguments 设置 save_safetensors=False 来禁用 safetensors，这样可以避免共享张量保存时引发的错误。如果希望手动控制模型保存，也可以调用 model.save_pretrained() 来保存模型。
2024-10-07 10:54:34
1687
原创 LSTM--详解
LSTM作为递归神经网络的一种，专门用于处理长依赖序列问题，因其在许多任务中（如自然语言处理、时间序列预测等）表现优异，成为了深度学习领域的重要模型之一。
2024-10-07 08:50:35
2032
1
原创 RNN--详解
循环神经网络 (Recurrent Neural Network, RNN) 是一种专门用于处理序列数据的神经网络模型。与传统的前馈神经网络不同，RNN 具有循环结构，能够处理时间序列和其他顺序依赖的数据。其关键在于可以利用前一个时刻的信息，通过隐状态 (Hidden State)在时间步长上进行传递，从而具有记忆性。下面的代码定义了一个基本的 RNN 模型。使用一个嵌入层和一个简单的 RNN 层来对文本进行分类。输出的隐藏状态将传递到全连接层来预测情感标签。# 嵌入层# RNN层# 全连接层。
2024-10-07 08:40:24
1025
原创 Python 基础知识点详细整理
简介：解释 Python 的特点，解释其跨平台性、解释性和面向对象特性。安装与配置：如何安装 Python，搭建 Python 环境，使用pip安装库。集成开发环境 (IDE)：如 PyCharm、VSCode、Jupyter 等的使用。
2024-10-06 14:50:34
1035
原创 解决Transformer训练中GPT-2模型报错：样本填充问题与tokenizer冲突处理
这个问题是因为GPT-2模型在设计时没有为填充（padding）定义一个专用的填充标记（pad token）。由于GPT-2是基于自回归的结构，它在训练时不需要像BERT那样进行填充。要解决这个问题，可以手动为GPT-2设置一个填充标记（pad token）并相应调整填充行为。
2024-10-06 14:17:01
1003
原创 深度学习--自动化打标签
数据准备：人工标记一部分数据，并分成训练集和验证集。模型微调：通过羊驼模型微调，让模型学习数据的标签分布。预测与对比：模型在验证集上进行预测，并与人工标签对比，使用准确率和 F1-score 等指标评估模型性能。自动打标签：模型通过自动化方式对未标注数据进行打标签。通过这种方法，能够有效利用大模型进行大规模数据的标签生成，同时减少人工标注的成本和工作量。
2024-10-03 19:39:54
2735
原创 在Conda环境中，查看某个包是否安装的方式
这些方法可以快速确定某个包是否已经在 Conda 环境中安装。打开终端或命令提示符（确保激活了对应的 Conda 环境）。conda list | grep 包名。conda activate 你的环境名。对于 Windows 用户，可以使用。如果包已安装，会显示已安装的版本。conda search 包名。conda list 包名。>>> import 包名。如果包不存在，将会收到。
2024-10-03 19:26:38
2676
原创 LLM-in-the-loop：数据集构建
通过上述过程，能够在LLM-in-the-loop数据构建过程中，逐步利用人工标注数据引导模型，通过不断的标注与微调循环，使模型逼近人工标注效果。
2024-10-03 12:55:49
910
原创 Python--解决从Hugging Face的服务器下载某个预训练模型或其相关的文件问题
一.错误信息：ValueError: Connection error, and we cannot find the requested files in the cached path. Please try again or make sure your Internet connection is on.这个错误信息表明正在尝试从 Hugging Face 的服务器下载某个预训练模型或其相关的文件，但由于网络连接问题无法成功下载，也无法从缓存中找到该文件。
2024-10-03 12:49:54
1801
原创 Python--导入模块报错处理
根据需要替换 openai_object 的用法，例如 openai.OpenAIObject 等。pip install openai==<目标版本号>错误，并使代码正常运行。如果仍然无法解决，建议参考。文件的依赖信息，进一步排查问题源头。通过这些步骤，可以有效地解决。库的官方文档，或查看。
2024-10-03 12:37:19
1362
原创 Python--加载Hugging Face模型文件异常处理
检查网络连接。如果需要离线使用，确保正确配置了离线模式和本地文件路径。确认传递给的路径或模型名称是正确的。按照上述步骤逐一排查问题，应该能够解决这个错误。
2024-10-03 12:29:26
1443
原创 Python--CUDA安装异常处理
通常是由于没有正确安装 CUDA 支持的深度学习框架，或者系统的 CUDA 环境配置有问题。通过重新安装支持 CUDA 的版本、检查 CUDA 和 cuDNN 安装、确保 GPU 驱动正常运行，应该能解决这个问题。
2024-10-03 12:24:27
4054
原创 WSL--安装各种软件包
在 WSL 中，可以通过使用 Linux 的包管理器（例如apt，适用于基于 Debian 的发行版，如 Ubuntu）来安装各种软件包。以下是常见的安装步骤和命令，假设使用的是 Ubuntu（如果是其他 Linux 发行版，请根据相应的包管理器进行调整，例如 Fedora 使用dnf，Arch 使用pacman。
2024-10-02 21:04:51
2238
原创 解决：进入 WSL（Windows Subsystem for Linux）以及将 PyCharm 2024 连接到 WSL
通过以上步骤，就可以通过命令行进入 WSL 并将 PyCharm 2024 连接到 WSL，从而在 Windows 中体验完整的 Linux 开发环境。PyCharm 支持通过 WSL 运行项目。可以将 PyCharm 连接到 WSL，方便在 Linux 环境中运行代码和调试。WSL 是 Windows 的一个子系统，允许运行 Linux 环境。： 确保已经安装了最新版的 PyCharm 2024。命令进入你想要访问的目录。，可以访问 Windows 文件系统。： 启动 WSL 后，可以通过。
2024-10-02 20:31:51
2060
原创 解决登录wandb问题
如果希望完全避免登录，可以通过设置或使用环境变量来禁用wandb的联网功能。如果想让wandb继续记录日志但不需要登录，可以使用匿名模式。
2024-10-02 16:14:39
1475
原创 参数异常问题解决
确保使用正确的参数名称、版本兼容性以及参考官方文档是避免此类错误的关键步骤。通过上述分析和解决方案，可以更好地排查和解决类似。错误通常出现在实例化一个类时，传入了构造函数（这样修改后，代码将能够正常运行。替换为正确的参数名称。
2024-10-02 10:46:45
944
原创 不同版本的 Selenium 和 WebDriver 的 API 兼容性问题
TypeError: __init__() got an unexpected keyword argument 'executable_path' 是一个常见的错误，通常出现在使用 Selenium 自动化测试工具时。此错误通常是由于不同版本的 Selenium 和 WebDriver 的 API 变化引起的。
2024-10-02 10:41:15
1745
原创 使用 Docker 构建 LLaMA-Factory 环境
使用 Docker 构建 LLaMA-Factory 环境可以简化依赖安装和环境配置。
2024-10-01 20:47:03
6037
原创 Python--读取文件时出现的报错
在使用 Python 读取文件时，尤其是涉及到文件编码的场景，常常会遇到编码解码问题。常见的编码问题主要发生在尝试解码不同编码格式的文件时，比如将使用 GBK 编码的文件按 UTF-8 解码，或者相反。通过这些方法，能够有效地应对各种文件解码错误，确保程序的稳定性和文件读取的完整性。print(f"检测到的编码格式: {encoding}")print("解码错误，尝试其他编码格式")
2024-09-16 15:29:22
1796
原创 Python--解决安装 fasttext 库出现的异常
通过运行，可以解决的问题。如果遇到安装问题，可以尝试使用或者先安装setuptools和wheel。
2024-09-16 13:10:48
817
原创 Python--常见的数据格式转换
这些示例展示了如何在不同常见数据格式之间进行转换，包括 CSV、JSON、XML 和 YAML。这些操作在数据处理、配置文件转换、数据导入导出等任务中非常常用。
2024-09-16 10:20:39
1076
原创 Python--数据格式转换
在 Python 中，数据格式转换是非常常见的任务。我们可以使用内置的模块如json或者pandas来进行格式转换。你提到的.jsonl文件（JSON Lines）是每一行都是一个 JSON 对象的文件格式，而.json是标准的 JSON 文件格式。
2024-09-16 10:17:16
1656
原创 Python--编码解码报错
明确文件编码：确保你正在使用正确的编码格式读取文件，常见格式有 UTF-8、GBK 等。处理解码错误：通过忽略无法解码的字符，或者使用替换这些字符，以确保程序的稳定性。尝试不同编码：如果 GBK 或 UTF-8 都无法正确解码，尝试其他编码格式如latin-1。自动检测编码：通过第三方库如chardet自动检测文件编码，避免手动猜测编码格式。这些方法能够有效解决的问题，并确保程序可以处理各种不同编码的文件。
2024-09-16 09:56:46
1468
原创 BART&BERT
model_name = "facebook/bart-large-cnn" # 选择一个BART模型，这里使用CNN新闻摘要任务的预训练模型。尽管BART和BERT在设计和应用上有所不同，但它们都利用了Transformer的强大能力来处理自然语言，并在NLP领域取得了显著的成果。model_name = "bert-base-uncased" # 选择一个BERT模型。model.eval() # 将模型设置为评估模式。# 加载预训练的BERT模型和分词器。# 加载预训练的BART模型和分词器。
2024-09-15 17:22:56
1799
原创 深度学习--对抗生成网络（GAN, Generative Adversarial Network）
对抗生成网络（GAN）是近年来在生成式模型领域的重要突破，通过生成器与判别器的对抗博弈，GAN能够生成高度逼真的数据。其应用范围广泛，涵盖了图像生成、数据增强、超分辨率重建、风格迁移等多个领域。然而，GAN的训练过程具有挑战性，特别是在平衡两者的对抗关系上仍然存在技术难题。随着技术的不断发展，GAN在生成数据、创造内容等方面的应用前景将更加广阔。
2024-09-07 21:32:30
1755
原创 Python--异常的分类
当在字典中使用一个不存在的键去访问其值时，会触发此异常。在将字节序列解码为 Unicode 字符时，如果字节序列无法用指定的编码解码，会抛出。在将 Unicode 字符编码为字节序列时，如果字符无法用指定的编码表示，会抛出。此异常很少见，通常在浮点计算出现问题时抛出，表明操作产生了一个无效的浮点结果。在将 Unicode 字符转换为其他编码时，如果无法找到对应的字符，会抛出。当执行的数值运算结果超出了 Python 能够表示的范围时，会抛出。当代码中引用了一个未定义的变量时，Python 会抛出。
2024-08-30 08:57:57
1411
原创 Python--ValueError:only one element tensors can be converted to Python scalars解决办法以及扩展-总结
ValueError:only one element tensors can be converted to Python scalars解决办法
2024-08-28 14:30:04
2347
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人