接下来我将带你从0-1搭建CNN网络模型(pytorch),制作一个关于猴子的分类器。
要解决这个问题,我们首先要准备好模型的食物——数据集。
本次数据集我们将采用Kaggle的公开数据集:https://www.kaggle.com/datasets/slothkong/10-monkey-species
点击跳转链接,然后再点击download即可下载数据集到你想要存放的位置,之后我们会访问数据集的地址。
然后你打开数据集文件夹就可以看见打好了标签的十个文件夹。
接下来,我们就进入代码部分了。(前提是你已经有了python、pytorch等环境)
导入相关的包
import itertools
import random
from tqdm import tqdm
import numpy as np
import matplotlib.pyplot as plt
import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader
from torchvision import datasets, transforms
from sklearn.metrics import classification_report, confusion_matrix
seed = 1337
random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)
# 如果使用了 GPU,还需要设置以下内容
if torch.cuda.is_available():
torch.cuda.manual_seed_all(seed)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
接下来是比较关键的数据预处理和数据增强部分,这个部分我做了很多次尝试,对于不同的模型所适合的数据增强的操作是不一样的。比如基于VGG16、Resnet50、Mobilenet_v2等预训练模型时,不需要这么多操作就能达到100%。但,由于我们要自己搭建一个模型从头开始训练参数,数据量不够的情况下,这是我能做到的最合适的数据增强。这部分数据增强也参考了kaggle用户分享的一些前辈所采用的操作。
记得粘贴代码后替换数据集路径,值得小心一点的是有两个training,这是数据集本身多嵌套了一个文件夹的原因。无伤大雅。
# 数据预处理 - 训练集数据增强
train_transform = transforms.Compose([
transforms.Resize((150, 150)), # 调整到150x150
transforms.RandomHorizontalFlip(), # 随机水平翻转
transforms.RandomRotation(40), # 随机旋转
transforms.RandomAffine(degrees=0, translate=(0.2, 0.2), scale=(0.8, 1.2), shear=0.2), # 随机仿射变换
transforms.ToTensor(), # 转换为张量
transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) # 标准化
])
# 验证集数据预处理
val_transform = transforms.Compose([
transforms.Resize((150, 150)),
transforms.ToTensor(),
transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])
# 加载数据
data_dir = 'D:/作业/archive/training/training' # 训练集路径
val_data_dir = 'D:/作业/archive/validation/validation' # 验证集路径
train_dataset = datasets.ImageFolder(root=data_dir, transform=train_transform)
val_dataset = datasets.ImageFolder(root=val_data_dir, transform=val_transform)
# 创建数据加载器
batch_size = 64
train_load