WoBERT Pytorch使用

最新推荐文章于 2024-11-25 14:59:32 发布
原创 最新推荐文章于 2024-11-25 14:59:32 发布 · 1.8k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

该博客介绍了如何使用PyTorch实现基于WoBERT的新闻多分类任务。首先，你需要通过pip安装依赖，并从指定链接下载WoBERT模型。模型转换可以通过提供的转换脚本完成。之后，配置参数并运行训练或测试脚本。源代码中包含了自定义的分词器和BERT分类模型。案例数据为train.csv，关键改动在于tokenizer和模型的微调。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

pytorch实现的WoBERT + 新闻多分类样例

 

代码：

https://github.com/425776024/WoBERT

 

1.安装依赖

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

2.WoBERT模型下载

方式1.

从https://github.com/ZhuiyiTechnology/WoBERT 下载keras模型，然后执行转换变成pytorch的模型

python config/conver.py

方式2.

直接下载使用 ， 链接: https://pan.baidu.com/s/1KbLvVkXriF_x9XZnaYvDhg 密码: 94au

3.配置参数

vim config/configs.yaml

4.train\test

python train.py

 

案例数据

data/train.csv

细节

除了transformers转换模型，主要是tokenizer的变化

  • 1.稍微自定义了个专门的分词，见src/models/bert_model.py:WoBertTokenizer
  • 2.稍微自定义了个专门的BERT分类模型，见src/models/bert_model.py:WoBertClassificationModel
bert中文词向量：wobert、roformer
weixin_42357472的博客
02-25 2674
参考：https://kexue.fm/archives/7758/comment-page-1#comments maxlen = 32 # bert配置 config_path = r'C:\Users\long3.xiang\Desktop\tcl\wobert\chinese_wobert_L-12_H-768_A-12\bert_config.json' checkpoint_path = r'C:\Users\long3.xiang\Desktop\tcl\wobert\chinese_wob
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
热门推荐
盼小辉丶的博客
06-13 7万+
PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。
WoBERT:WoBERT Pytorch 版本，中文词汇级Bert：WoBERT学习
05-12
pytorch实现的 + 新闻多分类样例 1.安装依赖 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt 2.WoBERT模型下载 方式1. 从 下载keras模型，然后执行转换变成pytorch的模型 python config/conver.py 方式2. 直接下载使用 ， 链接: 密码: 94au 3.配置参数 vim config/configs.yaml 4.train\test python train.py 5.案例数据 data/train.csv 细节 除了transformers转换模型，主要是tokenizer的变化 1.稍微自定义了个专门的分词，见src/models/bert_model.py:WoBertTokenizer 2.稍微自定义了个专门的BERT分
WoBERT:以词为基本单位的中文BERT
03-30
沃伯特 以词为基本单位的中文BERT（基于单词的BERT） 详情 训练 目前开源的WoBERT是基本版本，在哈工大开源的基础上进行继续预训练，预训练任务为MLM。初始化阶段，将每个词用BERT自带的Tokenizer切分为字，然后用模型使用单张24G的RTX训练了100万步（大概训练了10天），序列长度为512，学习5e-6，batch_size为16，累积梯度16步，，等于batch_size = 256训练了6万步左右。训练语料大概是30多G的通用型语料。 此外，我们还提供了WoNEZHA，这是基于华为开源的进行再预训练的，训练细节跟WoBERT基本一样。NEZHA的模型结构跟BERT相似，不同的是它使用了相对位置编码，而BERT用的是绝对位置编码，因此理论上NEZHA能处理的文本长度是无上限的。这里提供以词为单位的WoNEZHA，就是让大家多一个选择。 2021年03月03日：添加
探索WoBERT：预训练语言模型的中国力量
gitblog_00089的博客
04-19 656
探索WoBERT：预训练语言模型的中国力量 项目地址:https://gitcode.com/gh_mirrors/wo/WoBERT 项目简介 在深度学习和自然语言处理（NLP）领域，预训练语言模型已经成为一个炙手可热的研究方向。 是由追一科技推出的一款基于BERT的中文预训练模型，旨在为中文场景提供更高效、准确的语义理解和生成能力。 技术分析 BERT的基线与改进 BERT（Bidirecti...
【亲测免费】 探索语言深度学习的新境界：WoBERT
gitblog_00709的博客
08-12 503
探索语言深度学习的新境界：WoBERT WoBERT，全称为“Word-based BERT”，是一个创新的中文预训练模型，以其以词为基本单位的设计理念，打破了传统BERT模型以字为单位的界限。这个开源项目旨在提升中文自然语言处理的性能和效率，为研究者和开发者提供了一个强大的工具，以应对各种复杂的语言任务。 项目技术分析 WoBERT采用了在哈工大开源的RoBERTa-wwm-ext的基础上进行预...
基于pytorch使用神经网络完成鸟花二分类问题源码+样本数据.zip
01-08
1、基于pytorch使用神经网络完成鸟花二分类问题源码+样本数据.zip 2、该资源包括项目的全部源码，下载可以直接使用！ 3、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目，作为参考...
PyTorch使用教程.pdf
07-29
以下是一个简化的 PyTorch 使用教程，不采用分点或Markdown格式。 首先，确保你安装了 PyTorch。你可以通过访问 PyTorch 官网获取安装指令，根据你的系统环境（如 Windows, macOS, Linux）和是否使用 GPU 支持进行...
TensorBoard快速入门（Pytorch使用TensorBoard）
iioSnail的博客
07-03 4万+
TensorBoard 简介 TensorBoard 界面介绍 TensorBoard 安装 TensorBoard 运行 Pytorch 使用 TensorBoard Tensor折线图（Scalars）
WoBERT-基于词颗粒度的中文BERT
yaohaishen的专栏
03-17 4967
原文-https://kexue.fm/archives/7758 当前，大部分中文预训练模型都是以字为基本单位的，也就是说中文语句会被拆分为一个个字。中文也有一些多颗粒度的语言模型，比如创新工场的ZEN和字节跳动的AMBERT，但这类模型的基本单位还是字，只不过想办法融合了词信息。目前以词为单位的中文预训练模型很少，据笔者所了解到就只有腾讯UER开源了一个以词为颗粒度的BERT模型，但实测效果并不好。 那么，纯粹以词为单位的中文预训练模型效果究竟如何呢？有没有它的存在价值呢？最近，我们预训练并开源了以
linux上配置jdk时,java命令提示没有此文件或文件夹的解决方法
01-20
出现这个问题可能有以下几种原因： 1、对该文件没有执行的权限。 2、我们的机器是６４位的，而下载的jdk是３２位的。 我就是后一种原因造成的，好久才想明白。 以上这篇linux上配置jdk时,java命令提示没有此文件或文件夹的解决方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持软件开发网。 您可能感兴趣的文章:Linux服务器部署JavaWeb项目完整教程linux系统 java环境变量的配置方法Linux下Java环境变量的安装与配置Java远程连接Linux服务器并执行命令及上传文件功能详解在LINUX上部署带有
bert的兄弟姐妹梳理——Roberta、DeBerta、Albert、Ambert、Wobert等
小白胖爱学习-的博客
02-27 5620
最近看了一些和bert比较像的算法，做一个简单的梳理吧，本文在已经明白bert的基础上介绍有什么改进哈，没有单独介绍bert哦~ Tokenization 介绍算法前说说关于token的，很多算法其实也都是基于这方面进行改进。简单来说，Tokenization是按照特定需求，把文本切分成一个字符串序列(其元素一般称为token)的过程，这个token的粒度是不一定的，可以是字符、单词甚至是句子。通常情况下，在英文中，使用的是单词或者子词（这里可以学习下BPE），中文中使用字符。事实上，粗粒度和细粒度各有优劣
【亲测免费】 WoBERT 项目教程
gitblog_00600的博客
08-12 466
WoBERT 项目教程 1. 项目目录结构及介绍 根目录 config.py: 项目的主要配置文件。 preprocess.py: 数据预处理脚本。 train.py: 训练模型的主要脚本。 evaluate.py: 模型评估脚本。 models: 包含不同版本的WoBERT模型定义。 data: 存放数据集的目录。 logs: 训练日志和模型检查点的存储位置。 requirements.txt...
BERT 详解
最新发布
yitang的博客
11-25 7937
BERT（Bidirectional Encoder Representations from Transformers）是由 Google 在 2018 年提出的一种预训练语言模型。BERT 在自然语言处理（NLP）领域取得了重大突破，因为它能够有效地捕捉文本的上下文信息，从而在各种 NLP 任务中表现出色。以下是 BERT 模型的详细讲解，包括其架构、训练方法、应用场景和使用方法。
wobert用法记录
wwwwzm的博客
05-29 231
【代码】wobert用法记录。
加速 BERT 模型有多少种方法？从架构优化、模型压缩到模型蒸馏最新进展详解
woliuqiangdong的博客
01-30 735
　　BERT 在 NLP 领域的地位正如 ResNet 在 CV 领域的地位一样，属于里程碑的进展。目前，BERT 已经成为 NLP 深度学习管道中的重要组成部分。 　　但 BERT 并不是完美无瑕的，它最大的问题就是：太大。 　　BERT-base 模型能够包含一亿个参数，较大的 BERT-large 甚至包含 3.4 亿个参数。显然，很难将这种规模的模型部署到资源有限的环境（例如移动设备或嵌入式系统）当中。 　　模型太大是其一，BERT 的训练和推理时间也太长了！ 　　在基于 Pod 配...
【深度学习】RoBERTa模型详解和实践
海贼王的博客
01-07 1万+
RoBERTa模型详解和实践 Robustly optimized BERT approach. 内容介绍： RoBERTa改进思路和原文详解 bert4keras工具使用 基于RoBERTa的2020语言与智能技术竞赛-阅读理解任务实战 代码：基于RoBERTa的2020语言与智能技术竞赛-阅读理解任务实战(Colab需翻墙) 工具：bert4keras 论文：https://arxiv.org/pdf/1907.11692.pdf CLUE阅读理解排行榜：https://www.cluebenc
RoBERTa中文预训练模型：RoBERTa for Chinese
Paper weekly
09-16 1万+
RoBERTa for Chinese, TensorFlow & PyTorch项目主页：https://github.com/brightmart/rober...
Pytorch使用cudnn多版本配置详解
2. 根据所使用的PyTorch版本，查找官方推荐的CUDA版本。 3. 根据CUDA版本，从NVIDIA官方网站下载对应的cuDNN版本。 4. 解压下载的cuDNN压缩文件包。 5. 根据系统环境变量配置路径，使系统识别到cuDNN安装路径。 ###...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值