【Transformers系列】一文读懂基础知识+环境安装

最新推荐文章于 2025-07-17 10:37:48 发布

AGI大模型资料分享员

最新推荐文章于 2025-07-17 10:37:48 发布

阅读量728

点赞数 11

CC 4.0 BY-SA版权

文章标签：人工智能机器学习 pytest 大模型 chatgpt

本文链接：https://blog.csdn.net/m0_48891301/article/details/147331240

一、常见自然语言处理任务

类别	简介
情感分析	对给定的文本分析其情感极性文本生成:根据给定的文本进行生成
命名实体识别	标记句子中的实体
阅读理解	给定上下文与问题，从上下文中抽取答案
掩码填充	填充给定文本中的掩码词
文本摘要	生成一段长文本的摘要
机器翻译	将文本翻译成另一种语言
特征提取	生成给定文本的张量表示
对话机器人	根据用户输入文本，产生回应，与用户对话

二、自然语言处理的几个阶段

第一阶段:统计模型+数据(特征工程)

决策树、SVM、HMM、CRF、TF-IDF、BOW
第二阶段:神经网络+数据

Linear、CNN、RNN、GRU、LSTM、Transformer、Word2vec、Glove
第三阶段:神经网络+预训练模型+(少量)数据

GPT、BERT、ROBERTa, ALBERT、BART、T5
第四阶段:神经网络+更大的预训练模型+Prompt

ChatGPT、Bloom、LLaMA、Alpaca、Vicuna、MOSS、文心一言、通义千问、星火

三、Transformers及相关库

Transformers:

核心库，模型加载、模型训练、流水线等
Tokenizer:

分词器，对数据进行预处理，文本到token序列的互相转换。
Datasets:

数据集库，提供了数据集的加载、处理等方法
Evaluate:

评估函数，提供各种评价指标的计算函数
PEFT:

高效微调模型的库，提供了几种高效微调的方法，小参数量动大模型
Accelerate:

分布式训练，提供了分布式训练解决方案，包括大模型的加载与推理解决方案Optimum:优化加速库，支持多种后端，如Onnxruntime、OpenVino等
Gradio:

可视化部署库，几行代码快速实现基于Web交互的算法演示系统

四、Ubuntu Transformers环境安装

**对于cuda等的版本****选择，依据此流程进行：显卡型号 -> 算力 -> CUDA -> 驱动 -> cuDNN，
miniconda 安装下载地址:

https://mirrorstuna.tsinghua.edu.cn/anaconda/miniconda/

如果C盘有空间，最好安装在C盘，且安装目录中不能有中文。安装时勾选"将其添加到PATH"

conda环境创建：

conda create -n transformers python=3.9

注意：明确指定版本，否则可能会因版本过高导致有包装不上

pypi配置国内源-清华源，配置后下载速度起飞：

https://mirrors.tuna.tsinghua.edu.cn/help/pypi/

配置pypi指令：如果您到 pip 默认源的网络连接较差，临时使用本镜像站来升级 pip：

python -m pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple --upgrade pip

配置pypi指令：升级 pip 到最新的版本后进行配置：

python -m pip install --upgrade pip
pip config set global.index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

pytorch安装：

官方地址:https://pytorch.org/
在一个单独的环境中，能使用pip就尽量使用pip，实在有问题的情况，例如没有合适的编译好的系统版本的安装包，再使用conda进行安装，不要来回混淆；
30XX、40XX显卡，要安装cu11以上的版本，否则无法运行；
CUDA是否要安装：如果只需要训练、简单推理，则无需单独安装CUDA，直接安装pytorch；如果有部署需求，例如导出TensorRT模型，则需要进行CUDA安装。
Transformers核心包安装命令：

pip install transformers datasets evaluate peft accelerate gradio optimum sentencepiece

pip install jupyterlab scikit-learn pandas matplotlib tensorboard nltk rouge

五、Demo测试：

#样例：阅读理解
#导入gradio
import gradio as gr
#导入transformers相关包
from transformers import #通过Interface加载pipeline并启动阅读理解服务
gr.Interface.from pipeline(pipeline("question-answering", model="uer/roberta-base-chinese-extractive

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】