- 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
- 🍖 原作者:K同学啊
刚刚过去的周末举行了 X9 高校赛艇联赛,我倍感幸运,在大叔的年纪竟被教练选入了混八队伍。虽说结果不太理想,甚至为此略感失落,不过也收获了宝贵的比赛经验。接触赛艇一个多月以来,我深感这是一项既能减肥又颇为优雅的运动,它同时还是团队、技巧与力量的完美结合,散发着浓厚的艺术魅力。两站比赛已经成为过去时,下个月还有第三站在等着我们。依旧用朋友圈的那条动态来激励自己,“Go big or go home!!!”。未来一个月会很苦,需要兼顾训练与学习,但我坚信这段经历会给我打下深刻的烙印!
言归正传,这是我参加《365天深度学习训练营》的第二周,与此同时,最近我还在学习MMDetection做实例分割,跑通Demo之后,加上这回P2的顺利实施,我已经开始逐步建立起信心。本期blog我主要通过注释每段代码来强化理解与记忆,那么接下来,就请随我一同回顾此次旅程吧!
此次实验为机器学习经典案例:基于CIFAR10数据集的彩色图片识别实验
实验目的:
- 学习如何编写一个完整的深度学习程序
- 学会推导卷积层与池化层的计算过程
- 重点是学会基于torch.nn构建CNN网络
实验环境:
- 语言环境:python 3.8
- 编译器:pycharm
- 深度学习环境:
- torch ==2.2.2
- torchvision ==0.17.2
- cpuonly
实验流程:
一、前期准备
1. 导入"APP",设置 GPU
# 导入PyTorch库,这是一个广泛用于深度学习的框架
# 将PyTorch的神经网络模块导入,并简称为nn(neural network),方便后续使用其中的各种神经网络层等
# 导入matplotlib的绘图模块,用于数据可视化,比如绘制图形等
# torchvision通常用于导入与计算机视觉相关的功能和数据集
import torch
import torch.nn as nn
import matplotlib.pyplot as plt
import torchvision
# 设置硬件设备,如果有GPU则使用,没有则使用cpu
# 如果有则将device设置为"cuda",表示将在GPU上进行计算,这样可以加速深度学习模型的训练和推理等操作
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
device
🪧代码输出
device(type='cpu')
2. 加载数据
- 通过torchvision中的dataset下载CIFAR10数据集,并划分好训练集与测试集
# torchvision.datasets.CIFAR10:调用PyTorch中用于加载 CIFAR10 数据集的类
# 'data':指定数据集存储的路径
# train=True:训练集
# transform=torchvision.transforms.ToTensor():将数据类型转换为张量(Tensor)格式
# download=True:如果数据集在指定路径下不存在,则自动下载该数据集
train_ds = torchvision.datasets.CIFAR10('data',
train=True,
transform=torchvision.transforms.ToTensor(),
download=True)
test_ds = torchvision.datasets.CIFAR10('data',
train=False,
transform=torchvision.transforms.ToTensor(),
download=True)
🪧代码输出
Files already downloaded and verified
Files already downloaded and verified
- 通过DataLoader加载数据,并设置好基本的batch_size
# batch_size:定义每一批数据的大小
# torch.utils.data.DataLoader:创建一个数据加载器
# train_ds:训练数据集
# batch_size=batch_size:使用前面定义的批量大小
# shuffle=True:在每个训练周期开始前对训练数据进行随机打乱,有助于提高训练效果,避免模型学习到数据的特定顺序
# 测试集通常不需要打乱数据顺序
# 这样就创建好了训练集和测试集的数据加载器,以便在训练和评估模型时能够以指定的批量大小方便地获取数据
batch_size = 32
train_dl = torch.utils.data.DataLoader(train_ds,
batch_size=batch_size,
shuffle=True)
test_dl = torch.utils.data.DataLoader(test_ds,
batch_size=batch_size)
# 取一个批次查看数据格式
# 数据的shape为:[batch_size, channel, height, weight]
# 其中batch_size为自己设定,channel,height和weight分别是图片的通道数,高度和宽度
imgs, labels = next(iter(train_dl))
imgs.shape
🪧代码输出
torch.Size([32, 3, 32, 32])
3. 数据可视化
# 导入numpy库,用于数组操作等
# 创建一个新的图形,指定图形的大小为宽20、高5(英寸)
# 遍历一个名为imgs的数据集中的前20个图像
import numpy as np
plt.figure(figsize=(20, 5))
for i, imgs in enumerate(imgs[:20]):
# 维度缩减:将图像数据转换为numpy数组,并进行维度变换,通常是将通道维度调整到最后
# 将整个图形区域划分成2行10列的子图布局,并选择当前要绘制的是第i+1个子图
# 在当前子图中显示转换后的图像,使用指定的颜色映射(这里是二值颜色映射)
# 关闭坐标轴的显示
npimg = imgs.numpy().transpose((1, 2, 0))
plt.subplot(2, 10, i+1)
plt.imshow(npimg, cmap=plt.cm.binary)
plt.axis('off')
#plt.show() 如果使用的是Pycharm编译器,加上