- 博客(33)
- 收藏
- 关注
RSS订阅原创 Datawhale 组队学习--RAG技术全栈指南
RAG（Retrieval-Augmented Generation）是一种融合信息检索与文本生成的技术范式。其核心逻辑是：在大型语言模型（LLM）生成文本前，先通过检索机制从外部知识库中动态获取相关信息，并将检索结果融入生成过程，从而提升输出的准确性和时效性。RAG本质：在LLM生成文本之前，先从外部知识库中检索相关信息，作为上下文辅助生成更准确的回答。
2025-08-19 00:22:57
785
原创 Datawhale AI夏令营 「2025全球AI攻防挑战赛-赛道一：图片全要素交互认证-生成赛」的赛事项目实践
这次比赛是：「本次比赛的挑战在于，需要利用不同的模型和算法，生成高度逼真的AI伪造图片。：模型的挑战在于如何准确理解复杂的文本描述（Prompt），并生成出既美观又真实的图片。：编辑后的内容需要与原图在光影、透视和纹理上完美融合，不留痕迹。：修改后的文字必须与原图中的文字在字体、大小、光影、背景融合度等方面保持高度一致，这要求模型具备强大的文字渲染与融合能力。：需要将源人脸的身份特征自然地迁移到目标人脸的表情、姿态和光照环境中，避免出现不自然的面部边缘或肤色差异。
2025-08-13 23:48:08
789
原创 Datawhale AI 夏令营——全球AI攻防挑战赛（AIGC技术-图像方向）
随着AI图片生成技术爆发式发展，金融诈骗、虚假新闻、身份冒用等安全问题正悄然入侵生活。既要用AI生成逼真图像挑战安全极限，更要打造能识破伪造的"火眼金睛"。这不仅是技术对抗，更是守护数字世界信任基石的使命！
2025-08-10 20:14:15
272
原创 书生浦语第五期-L1G4-InternLM 论文分类微调实践（XTuner 版）
一句话介绍XTuner：XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。核心特点：高效：支持在有限资源下微调大模型，如在8GB显存上微调7B参数模型，也支持多节点微调70B+模型；自动分发高性能算子加速训练；兼容DeepSpeed优化策略。灵活：支持多种大语言模型（如InternLM、Llama、ChatGLM等）和多模态模型；支持多种数据格式；支持QLoRA、LoRA、全量参数微调等多种微调算法。全能：支持增量预训练、指令微调与Agent微调；预定义多种对话模板；
2025-08-09 15:43:43
480
原创 书生浦语第五期-L1G3-LMDeploy 课程
LMDeploy在服务启动时就会预先一次性分配KV cache空间，如果加载模型出现OOM，可能需要考虑降低 cache_max_entry_count 的值，表示加载模型权重后 K/V 缓存占用的空闲 GPU 内存的比例。由于需要维护k个序列，开销比较大。例如例图的Top_p=0.8，也就是模型关于下一个词的预测是将关于下一个词的预测概率中从大到小求和，看计算哪个词时之和大于或等于0.8，之后根据这些词来随机采样。比较敏感，生成的结果更关注高频词，多样性丢失，可能会导致生成的回复过于简单，趋同性高；
2025-08-08 22:54:56
771
原创 书生浦语第五期-L1G2-OpenCompass 评测书生大模型实践
除了通过命令行配置实验外，OpenCompass 还允许用户在配置文件中编写实验的完整配置脚本，并通过 run.py 直接运行它。文件中设置在 VLMEvalKit 中支持的 VLM 名称，以及模型路径。进入opencompass的data文件夹可以看到里面包含的数据集。之后回到opencompass文件夹下，运行run.py。之后就可以回到opencompass文件夹运行文件。将InternVL3-2B模型的位置修改为本地路径。运行以下代码，在configs文件夹下创建。C-Eval 选择题。
2025-08-07 18:49:43
240
原创 书生浦语第五期-L1G1-玩转书生大模型 API 之 Browser-Use 实践过程记录
首先我们新建一个Internlm文件夹，并用vscode打开，启动终端。接着输入以下命令来创建项目环境并进入。这里我们使用uv进行项目环境管理。直接使用Python自带的。
2025-08-02 18:41:39
147
原创 书生浦语第五期L0G2
在 https://opencompass.org.cn/arena 中和不同模型对话探索大模型的能力边界，尝试问问模型知识、数学、code 等不同领域的问题，完成 10 次有效投票闯关成功（语言和多模态各5次）。
2025-08-01 17:59:40
122
原创 Datawhale AI夏令营--模型蒸馏
LoRA 使用 A \mathbf{A}A 和 B \mathbf{B}B 两个与原模型并行的低秩矩阵来代替原本的增量权重矩阵 Δ W \mathbf{\Delta W}ΔW，从而可以在保证模型性能的同时，有效降低需要训练的参数量。灵活易用：针对不同的下游任务，用户可以训练不同的 LoRA，并且在微调完成后，只需要保存新增的这一部分权重（不同任务间共享预训练模型的权重），相比于存储整个模型的权重，只需要极少的内存。（初始化为零），r rr 为矩阵 Δ W \mathbf{\Delta W}ΔW 的秩。
2025-07-26 23:23:56
704
原创 书生浦语第四期OpenCompass
安装好必需的依赖：配置好依赖之后，我们就需要模型来进行评测；这里我们选用的是internLM模型，使用反式是利用API来进行。首先我们要获取模型对应的API_Key，我们要先进入按照图中来操作就可以获取到API_Key；之后就可以在终端输入代码，来设置你的API_Key，之后再利用下面一行来检测是否设置好了。配置模型文件对应的模型文件代码配置好模型文件之后，来配置数据集文件对应数据集文件的代码之后就可以在终端运行文件在运行文件的时候可能会报错，
2025-01-09 15:18:52
350
原创 书生浦语第四期XTuner微调
同时可以通过代码来检测生成的数据文件是否正确，这是检测前三行的数据。脚本来观察微调后的对话效果，要修改模型的路径。生成好之后在finetune下的数据文件。配置好对应的参数文件之后就可以开始微调了。最后的"***"填写你ssh连接的端口号。复制官方的参数文件并修改对应的参数文件。修改参数文件中的模型地址和参数文件地址。首先创建一个数据文件夹存储微调数据。修改之后运行脚本文件生成微调数据。结束之后保存微调之后的权重文件。创建之后准备脚本文件生成数据。3.准备需要修改的数据文件。模型在webUI对话。
2025-01-08 10:00:00
218
原创 书生浦语第四期llama_index
下载好模型之后，我们在使用开源词向量模型构建开源词向量的时候，需要用到第三方库nltk的一些资源。1.大模型对于自己不知道的知识，会生成和现实完全不符的回答，这种现象被称为幻觉；所以面对上面大模型存在的问题，通常的解决办法是RAG(检索增强生成)和微调。对于大模型而言，RAG不会更新其中的权重，而微调是会更新大模型的权重的。之后我们运行这个python文件，得到的效果显示模型不包含这部分的知识。2.对于每次更新大模型的新知识的引入和训练，需要大量的资源和时间；对于当前的大模型的应用而言，存在哪些问题？
2025-01-06 16:00:13
443
原创 书生浦语第四期提示词工程
1.描述清晰；2.角色扮演，角色扮演在不同的模型中效果可能不明显，需要批判的去使用。3.提供示例，当我们的任务是和仿写句子等相关的时，可以提供示例来提升生成的质量。4.复杂任务的分解：思维链CoT，CoT的核心思想是让大模型一步步思考，通常使用思维链是在提示词之中加上“请一步步思考”或者“给出你的推理过程”。将复杂任务分解为简单任务，与之相同的是工作流，手动设置分解为简单任务。5.使用格式符区分语义，推荐使用markdown语法。6.给出情感和物质激励。7.使用更专业的术语。
2025-01-05 17:50:49
348
原创 书生浦语第四期开源体系
作为一个简单的了解和使用可以用1.8B的模型，而在日常使用的过程中7B效果不错，通过20B可以明显的体验出模型的涌现能力。在视觉方面的模型是InternLM-XComposer灵笔， 在数学方面的模型是InternLM-Math， 在一些科研方面的模型是InternLM-WQX。数据方面：书生万卷，开源了很多的子领域的语料库，可以去书生万卷的官网去下载；微调：XTuner支持多种微调算法，同时数据方面做到了格式的统一，方便微调。微调方面：XTuner日常进行微调，支持多种微调和对齐算法；
2025-01-04 16:58:16
298
原创 书生浦语第四期L0HF任务
复制得到的Access Tokens，在codespaces中设置huggingface的Access Tokens。下载InternLM_7b的config.json和model.safetensors.index.json。之后根据自己的需求选择token type，这里选择的Write权限。将其中的user_name、token和repo_path更改即可。遇到这种错误是因为在HF中设置Access Tokens。在HF界面点击右上角选择Access Tokens。git 提交到远程仓库。
2024-11-07 02:38:53
360
原创 书生浦语第四期L0Git任务
之后就可以在InternLM/Tutorial看到Pull Requests。将仓库clone到Intern studio上。
2024-11-06 20:43:21
203
原创 书生浦语第四期L0python任务
通过调试发现是json的格式出现错误，最后使用上面的代码进行json格式修正成功运行。在运行示例代码之后出现的报错，
2024-11-04 16:49:25
307
原创 书生浦语第四期L0linux任务
(symbolic link)，硬链接的意思是一个档案可以有多个名称，而软链接的方式则是产生一个特殊的档案，该档案的内容是指向另一个档案的位置。硬链接是存在同一个文件系统中，而软链接却可以跨越不同的文件系统。在配置SSH密钥的时候，使用Windows PowerShell来进行操作。SSH连接，配置SSH密钥进行SSH远程连接；之后一直回车就好，这里的密钥默认情况下是生成在。touch 可以使用touch快速的创建文件，表示的是家目录，如果是windows就是。新建或者打开名为test.txt的文件。
2024-11-04 01:32:22
369
原创 task_03扣子工作流
工作流，起源于生产组织和办公自动化领域，是指在计算机应用环境下，对业务过程的部分或整体进行自动化处理。它通过将复杂的任务分解成定义良好的任务或角色（节点），并按照一定的规则和过程来执行这些步骤中的任务，从而降低系统复杂度，减少对提示词技术和模型推理能力的依赖，提高 LLM 应用在复杂任务中的性能，提升系统的可解释性、稳定性和容错性。
2024-10-19 18:03:08
3929
1
原创 书生浦语训练营第三期--OpenCompass评测
进入configs文件夹来引入所需的数据集和模型配置，并以所需要的格式组成datasets和models字段，通过上面代码在configs文件夹下创建eval_tutorial_demo.py，在其中继承数据集合模型配置。opencompass文件夹下configs/models/hf_internlm/的hf_internlm2_chat1_8b.py中写入以下代码。配置：需要配置整个评估过程，选择与模型相应的数据集、评估策略和计算后端等，最后定义显示结果的方式；配置好之后，就可以进行评测了。
2024-08-22 02:35:18
277
原创 书生浦语训练营第三期--XTuner微调
要通过指令跟随微调，来让模型输出我们想要的效果，对于微调而言，最初要构造合适的数据集，因为想要让模型能得到合适的认知，所以在数据集中要大量加入这样的数据。进入微调目录下，启动微调，微调之后，要先保存最后一个pth文件，之后要进行模型格式转换将pytorch权重文件转换为通用的HuggingFace格式文件。选用好合适的匹配文件之后，就是对配置文件进行修改，将模型的路径和数据集的路径修改为我们的路径等。full和qlora是指微调的算法，full是指全量微调，qlora是指量化的lora。
2024-08-22 01:56:19
803
原创 书生浦语训练营第三期--llamaindex-RAG
下载好模型之后，我们在使用开源词向量模型构建开源词向量的时候，需要用到第三方库nltk的一些资源。基于RAG的原理，我们是将知识转化为向量来存入知识库的，所以我们来安装llamaindex所需要的依赖。1.大模型对于自己不知道的知识，会生成和现实完全不符的回答，这种现象被称为幻觉；对于大模型而言，RAG不会更新其中的权重，而微调是会更新大模型的权重的。2.对于每次更新大模型的新知识的引入和训练，需要大量的资源和时间；构建好我们需要的开源词向量之后，我们需要将运行的大模型软连接出来。
2024-08-19 20:10:16
291
原创 书生浦语实战营第三期
安装好之后，我们运行如下代码使用 LMDeploy 启动一个与 InternLM-XComposer2-VL-1.8B 模型交互的 Gradio 服务。ssh -CNg -L 6006:127.0.0.1:6006 [email protected] -p 你的 ssh 端口号。第五步利用LMDeploy来部署 InternLM-XComposer2-VL-1.8B 模型。第四步在web_demo中部署 InternLM2-Chat-1.8B 模型。首先激活环境和安装依赖。
2024-08-14 04:13:24
678
原创 书生浦语大模型实战营
对于第三点基于反馈地数据生成中重点是数据的标注，现在OpenDataLab中开源了LabLLM可以利用这个工具来进行数据的标注（可以在NLP任务中使用）。书生浦语开源全链条：书生万卷、InternEvo、XTuner、LMDeploy、OpenCompass、应用demo。在大语言模型的发展过程中核心的思想是对数据质量不断地提升和利用辅助标注来得到对齐数据来迭代大语言模型。应用demo--MinerU（高效文档解析工具）、MindSearch（搜索应用）部署--LMDeploy：支持的开源大模型更多。
2024-08-13 02:30:54
376
原创 书生浦语第三期python任务
2.利用设置好的规则来移除文本中的所有标点符号，并将每个单词转换成小写。3.利用split函数来对字符串进行分割最终得到最后的列表。1.进行str.maketrans来创建一个翻译表。python实现wordcount，运行结果。在开发机中debugwordcount函数。5.遍历整个列表最后得到整体的单词的统计。4.创建字典来用来存储最后的结果。调试wordcount函数。
2024-08-10 23:48:06
222
原创 书生浦语实战营 第2节课 《轻松分钟玩转书生.浦语大模型趣味Demo》
将其中的web_demo.py的文件中29行和33行的模型路径更换为本地的/root/model/Shanghai_AI_Laboratory/internlm-chat-7b。包，下载 InternLM-20B 的 config.json 文件到本地（需截图下载过程）。熟悉 hugging face 下载功能，使用 huggingface_hub。当以上的包和环境配置好之后，就可以开始进行模型的下载了。2.打开InternStudio的开发机。配置好环境之后，安装所需要的包。
2024-06-11 14:16:36
426
原创 书生浦语大模型实战营
这里要考察业务本身是否需要跟环境进行交互，如果这个业务是需要与环境进行交互的，比如需要调用外部API，或者与已有的数据库进行交互，那么就需要构建一个智能体（Agent），完成相关业务。如果算力足够，可能就需要进行模型的续训，或者全参数的微调，当然，这个花的钱就比较多。如果不是足够复杂，可以直接使用该模型，加上Prompt工程，就可以实现相关的业务；XTuner可以适合不同的生态，支持不同的算法，支持不同的开原生态、不同的加速方式和Nvidia的各级显卡。关注不同维度的能力，特别是专业上的能力。
2024-06-09 15:42:15
901
原创 Llama3-Tutorial
模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。LMDeploy的KV Cache管理器可以通过设置--cache-max-entry-count参数，控制KV缓存占用剩余显存的最大比例。只有运行lmdeploy chat /root/autodl-tmp/baicai003/Llama3-Chinese-instruct-DPO-beta0.5。(你下载模型的路径)/model/Meta-Llama-3-8B-Instruct。
2024-05-18 19:07:07
762
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人