基于ALBERT 进行文本向量化

目录

一、ALBERT

二、基于ALBERT进行文本向量化

三、总结

一、ALBERT

ALBERT (A Lite BERT) 是一种改进的 BERT 模型，旨在减少参数数量并提高训练速度，同时保持或提高性能。“albert_chinese_large”是 ALBERT 模型的一个版本，它是在中文数据集上预训练的。

ALBERT模型的主要特点包括：

1、参数减少技术：ALBERT 通过因式分解词嵌入参数和跨层参数共享来减少模型参数的数量，这使得模型更小，更容易训练和部署。

2、句子顺序预测：除了 BERT 中的掩码语言模型（MLM）任务外，ALBERT 还引入了句子顺序预测（SOP）任务，以改善句子级别的理解。

3、自监督学习：ALBERT 使用自监督学习方法进行预训练，这意味着它不需要标注数据。它通过预测掩码的单词和判断句子顺序来学习语言知识。

4、多尺度学习：ALBERT 在不同的尺度上学习信息，包括单词、短语和句子级别，这使得模型能够捕捉到不同层次的语言特征。

二、基于ALBERT进行文本向量化

1、导包、下载预训练模型

import torch
from transformers import BertTokenizer,BertModel,BertConfig
import numpy as np

pretrained = 'voidful/albert_chinese_large'
tokenizer = BertTokenizer.from_pretrained(pretrained)
model=BertModel.f