LLM探针技术揭秘情感敏感层

怎么查看LLM内部重点部分

LLM 对比探针技术

这段代码是一个基于Qwen2-3.5B-Instruct大语言模型的情感词敏感性分析脚本。它通过对比原始文本与扰动文本在模型各层的隐藏状态差异，找出对情感词最敏感的Transformer层。

import os
import torch
import matplotlib.pyplot as plt
from transformers import AutoModelForCausalLM, AutoTokenizer, AutoConfig

# --------------------------
# 1. 环境配置与模型加载
# --------------------------
# 设置GPU（指定使用编号为2、3、4的GPU）
os.environ["CUDA_VISIBLE_DEVICES"] = "2,3,4"

# 本地模型路径（Qwen2-3.5B-Instruct）
model_name = "/home/ZJQ/.cache/modelscope/hub/models/Qwen/Qwen2___5-14B-Instruct"

# 加载分词器（信任远程代码，Qwen系列需要）
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
# 加载模型配置
config = AutoConfig.from_pretrained(model_name, trust_remote_code=True)
# 加载模型（自动分配到可用GPU）
model = AutoM