昇思25天学习打卡营第1天 |昇思MindSpore框架的快速入门

在快速入门这一个章节,使用官方提供的算力或者cpu可轻松得进行代码和模型的运作与学习。

由于我是周末开始学习,还没来得及申请算力,就暂时先试用cpu;

关键指令和关键词参数表总结

指令/关键词 参数 作用
mindspore.dataset - 提供数据集加载和处理功能。
MnistDataset path 加载MNIST数据集。
vision.Rescale rescale 图像数据归一化,通常用于将像素值缩放到0-1范围。
vision.Normalize mean, std 对图像数据进行标准化处理,减去均值并除以标准差。
vision.HWC2CHW - 将图像数据从HWC格式转换为CHW格式。
transforms.TypeCast type 将数据类型转换为指定类型。
nn.Cell - 所有网络层的基类,用于构建自定义神经网络。
nn.Flatten - 将多维输入展平为二维。
nn.SequentialCell *layers 顺序容器,按顺序将层传递给输入。
nn.Dense in_channels, out_channels, has_bias 全连接层,具有输入通道数和输出通道数。
nn.ReLU - 激活函数,应用Rectified Linear Unit (ReLU) 非线性变换。
nn.CrossEntropyLoss - 计算交叉熵损失,用于分类任务。
nn.SGD params, learning_rate 随机梯度下降优化器,更新模型参数。
mindspore.value_and_grad fn, grad_position, params, has_aux 获取函数值和梯度,用于反向传播。
mindspore.save_checkpoint network, ckpt_file_name 保存模型参数到指定文件。
mindspore.load_checkpoint ckpt_file_name 从指定文件加载模型参数。
mindspore.load_param_into_net network, param_dict 将加载的参数字典导入网络模型。
1. 基本设置

首先,导入必要的库。
当然如果在自己电脑上运作,又不是使用现成的实验环境,则需要先布置实验环境;

pip install download

%%capture captured_output
# 实验环境已经预装了mindspore==2.3.0rc1,如需更换mindspore版本,可更改下面mindspore的版本号
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.3.0rc1

在这里插入图片描述

%%capture captured_output
# 实验环境已经预装了mindspore==2.3.0rc1,如需更换mindspore版本,可更改下面mindspore的版本号
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.3.0rc1

import mindspore
from mindspore import nn
from mindspore.dataset import vision, transforms
from mindspore.dataset import MnistDataset
import time
print(time.strftime('%Y-%m-%d %H:%M:%S'),time.localtime(time.time
### 使用MindNLP对RoBERTa-Large进行IA3微调的方法 为了实现这一目标,首先需要安装并配置好Ascend平台以及MindSpore环境。接着加载所需的库和模块来处理数据集、定义模型架构,并设置优化器和其他必要的组件。 #### 导入所需库 ```python import mindspore as ms from mindnlp.models import RobertaForSequenceClassification, RobertaConfig from mindnlp.transformers import IA3Config, get_ia3_model from mindnlp.datasets import load_dataset from mindspore.nn import AdamWeightDecay ``` #### 加载预训练的RoBERTa-large模型 通过指定路径或名称获取预训练权重文件,并初始化相应的配置对象。 ```python config = RobertaConfig.from_pretrained('roberta-large') model = RobertaForSequenceClassification(config) ``` #### 应用IA3适配层 创建IA3配置实例并将之应用于基础模型之上,从而引入额外参数用于后续调整。 ```python ia3_config = IA3Config(True) ia3_model = get_ia3_model(model, ia3_config) ``` #### 准备数据集 利用`mindnlp.datasets.load_dataset()`函数读取目标任务的数据源,这里假设使用GLUE benchmark中的MRPC子集作为例子。 ```python train_data = load_dataset('glue', 'mrpc', split='train') eval_data = load_dataset('glue', 'mrpc', split='validation') ``` #### 定义训练过程 编写自定义训练循环逻辑,在其中完成前向传播计算损失值反向更新梯度等一系列操作。 ```python optimizer = AdamWeightDecay(learning_rate=5e-5, params=model.trainable_params()) loss_fn = nn.CrossEntropyLoss() def forward_fn(input_ids, attention_mask, labels): logits = model(input_ids=input_ids, attention_mask=attention_mask)[0] loss = loss_fn(logits.view(-1, config.num_labels), labels.view(-1)) return loss grad_fn = ops.value_and_grad(forward_fn, None, optimizer.parameters) for epoch in range(num_epochs): for batch in train_loader: input_ids = batch['input_ids'] attention_mask = batch['attention_mask'] labels = batch['labels'] (loss), grads = grad_fn(input_ids, attention_mask, labels) optimizer.apply_gradients(zip(grads, model.trainable_params())) ``` 以上代码片段展示了如何基于MindNLP框架针对特定自然语言理解任务对RoBERTa-Large执行IA3微调的过程[^1]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值