Pytorch学习系列之七： 数据加载和处理

最新推荐文章于 2025-07-14 21:58:10 发布
最新推荐文章于 2025-07-14 21:58:10 发布
阅读量229 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Pytorch学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thequitesunshine007/article/details/118492468
这篇博客介绍了PyTorch中数据加载的工具，包括数据集类、转换和数据加载器的使用，并提到了torchvision包提供的常用数据集和转换，特别是ImageFolder类，用于处理分类数据。通过示例展示了如何创建数据加载器。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

说明

PyTorch提供了许多工具来简化和希望数据加载，使代码更具可读性。

全部代码如下，代码量还是有一些的，重点是注释部分可以帮助理解！！

原始教程地址
不过没有什么详细的注释。


# 本文参考借鉴于https://www.pytorch123.com/ThirdSection/DataLoding/
# <PyTorch之数据加载和处理>


'''
1.下载安装包
s
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Pytorch学习系列之九：OpenCV加载onnx模型进行推理
thequitesunshine007的博客
10-12 5403
0. 为什么选着OpenCV进行推理 按道理，使用OpenVINO推理套件（引擎）进行优化加速推理，或者其他推理套件进行推理，比如TensorRT等等。OpenVINO是英特尔推出的一款全面的工具套件，用于快速部署应用和解决方案，支持计算机视觉的CNN网络结构超过150余种。 但引入推理套件（引擎）势必带来额外的工作量，在对推理速度要求不高的情况下，使用OpenCV自带的DNN模块已经足够满足需求了，且能做到轻量化部署，减少对第三方平台的依赖。 随着版本的更迭，OpenCV...
Pytorch学习系列之六： 数据并行处理及模型文件批量自动加载（Dataset, DataLoader用法）
thequitesunshine007的博客
07-05 463
说明 将学习如何用 DataParallel 来使用多 GPU。 通过 PyTorch 使用多个 GPU 非常简单。 device = torch.device("cuda:0") model.to(device) 然后，你可以复制所有的张量到 GPU： mytensor = my_tensor.to(device) 请注意，只是调用 my_tensor.to(device) 返回一个 my_tensor 新的复制在GPU上，而不是重写 my_tensor。你需要分配给他一个新的张量并且在 GPU
PyTorch入门学习（七）：数据加载与处理
genous110的博客
02-01 1331
写在前面 未经允许，不得转载，谢谢~~ 在深度学习的问题中处理数据都会占据比较大的时间，只有把数据处理好了才有可能对模型进行训练、测试等后续工作。 PyTorch提供了很多用于让数据加载变得更加方便的工具，接下来我们就来学习一下怎么样处理那些PyTorch没有提供直接接口的数据。 在学习这个之前，首先要保证电脑上已经安装了下面这两样东西： scikit-image：用于图像输入输出和转换 pand...
Pytorch 如何将训练数据保存成CSV文件，并读取CSV文件，绘制损失函数图
qq_24193303的博客
08-03 2万+
最近刚入手Pytorch框架，因为论文中需要贴出损失函数的训练过过程的曲线，因此就自己写了个函数，通过列表的形式，将训练数据记录下来，并且保存成CSV文件，方便我们以后读取并绘制图像。 一、数据保存成CSV文件 在这里，我们以拟合二次函数为例，首先需要定义一个空的二维列表 定义二维列表： lossData=[[]] 接着，向里面添加每一步的训练数据，iter代表训练的次数，loss.data.numpy()代表每一次训练的损失值，因为pytorch中，loss是variable类型，因..
pytorch环境根据CSV文件加载数据集(Kaggle-test)
qq_19294547的博客
03-18 5938
文章目录前言一、数据集预处理二、读取和加载步骤1.继承Dataset2.构造自己的Dataset3.load数据集总结 前言 最近在做李沐发布的Kaggle树叶分类竞赛，在处理和加载Classify-Leaves数据集的时候遇到了一些问题，真是巧妇难为无米之炊啊，现在记录下来，希望可以帮助到更多的初学者！ 一、数据集预处理 数据集由一个images文件和三个csv文件组成 打开train.csv文件可以看到图片类别的标签是字符串，不满足深度学习训练的要求： 通过如下代码可将标签映射成数字并添加在la
不同PyTorch版本训练同一个代码结果差异巨大
yyywxk的博客
11-29 2万+
问题描述： 笔者在训练一个深度学习网络时，发现使用不同的PyTorch版本运行同一个训练代码，训练出来的网络结果差异巨大。具体来说，笔者训练得到的结果如下所示： PyTorch版本 Torchvision版本 测试结果 1.2 0.4.0 82.58017 1.5 0.6.0 83.11847 1.6 0.7.0 74.97795 1.10 0.11.1 68.33818 网络的参数以及训练的设置完全相同，但是却得到了差异巨大的结果。 原因分析： 发现在 Torchvisi
FasterRCNN训练自己的数据集
Python_Ai_Road的博客
05-21 7618
2016年提出的Faster RCNN目标检测模型是深度学习现代目标检测算法的开山之作，也是第一个真正全流程都是神经网络的目标检测模型。其主要步骤如下：1，使用CNN对输入图片提取feature map.2，对feature map上的每个点设计一套不同大小和长宽比的anchor作为先验框。3，设计RPN网络从大量的anchor中筛选出一些作为目标框的proposals并用回归分支纠正它们的位置。...
PyTorch 深度学习框架：自定义数据集与数据加载器
数字魔方操控师的博客
05-06 742
假设我们有一个图像数据集，图像存储在一个文件夹中，并且对应的标签存储在一个 CSV 文件中。我们可以按照以下步骤创建一个自定义的数据集类：import os"""初始化方法，设置数据集路径和可选的转换操作。参数:csv_file (str): 包含图像文件名和对应标签的CSV文件路径。root_dir (str): 图像数据集的根目录路径。transform (callable, 可选): 一个可选的函数，用于对数据进行转换。""""""返回数据集的大小。""""""
PyTorch水稻图像分类实战：数据处理到模型评估
- 使用PyTorch提供的数据加载器（DataLoader）可以高效地加载已经划分和预处理的数据集。 - 数据加载器支持批量加载、多线程加载等功能，有助于提升模型训练的效率。 知识点六：数据可视化 - 数据可视化是检查数据...
PyTorch数据加载与预处理：提升AI模型训练效率
最新发布
AI 原生应用开发的博客
07-14 258
在AI模型训练中，数据相关的问题主要集中在数据的高效加载和合理预处理上。从数据加载角度看，面临的挑战包括如何快速读取大规模数据集，如何在多GPU环境下实现数据并行加载等。在数据预处理方面，需要解决如何针对不同类型的数据（图像、文本、音频等）进行有效的清洗、转换和增强，以提升模型的泛化能力和训练效率。此外，还需考虑数据处理过程中的内存管理和计算资源分配，避免因数据处理不当导致的训练瓶颈。
PyTorch源码解析--torchvision.transforms（数据预处理、数据增强）
对角巷
01-04 2万+
PyTorch框架中有一个很常用的包：torchvision torchvision主要由3个子包构成：torchvision.datasets、torchvision.models、torchvision.transforms 详细内容可参考：http://pytorch.org/docs/master/torchvision/index.html GitHub：https://github.c...
【Pytorch实战5】数据读取和处理（以脸部关键点检测的数据为例）
m0_37935211的博客
05-16 4459
参考资料： 数据读取和处理官网教程 对于初学者来说，编程遇到的头一个问题可能就是不知道怎么编写数据读取的代码以输入网络。本文主要讲解的就是编写该部分代码的常见方法和编程思路。内容基本是官方文档的翻译与总结。 数据 下载链接 下载之后保存在data/faces路径下。 里面一共有69张脸部图片，有一个csv文档作为金标准用于保存所有的关键点，每一张脸部图像有68个关键点。 打开c...
PyTorch源码解读之torchvision.transforms
热门推荐
AI之路
01-25 4万+
PyTorch框架中有一个非常重要且好用的包：torchvision，该包主要由3个子包组成，分别是：torchvision.datasets、torchvision.models、torchvision.transforms。这3个子包的具体介绍可以参考官网：http://pytorch.org/docs/master/torchvision/index.html。具体代码可以参考github：
我才接触到的深度学习的一系列不那么相关的概念weight decay ，crop等等概念
qq_27292549的博客
12-18 4407
一、weight decay（权值衰减）的使用既不是为了提高你所说的收敛精确度也不是为了提高收敛速度，其最终目的是防止过拟合。在损失函数中，weight decay是放在正则项（regularization）前面的一个系数，正则项一般指示模型的复杂度，所以weight decay的作用是调节模型复杂度对损失函数的影响，若weight decay很大，则复杂的模型损失函数的值也就大。 二、
PyTorch一些小知识点
fuyouzhiyi的博客
05-28 564
优化 filter lambda torch.optim.SGD(filter(lambda p: p.requires_grad, model_parameters), lr=lr, momentum=momentum,weight_decay=weight_decay) lambda 是匿名函数 ：lambda arg : expression arg是参数，expression 是参数的表...
PyTorch官方教程之4：PyTorch之数据加载和处理
菜鸟笔记
03-14 1808
# 《PyTorch官方教程中文版》， PyTorch之数据加载和处理 from __future__ import print_function, division import os import torch import pandas as pd # 用于更容易地进行csv解析 from skimage import io, transform # 用于图像的IO和变换 import numpy as np import matplotlib.pyplot as plt from torch.ut
Faster RCNN源码解析之数据预处理
weixin_44654302的博客
04-15 698
Faster RCNN源码解析之数据预处理操作
pytorch中图片数据增强的方法
ys1305的博客
06-30 1万+
Compose组合 transforms包含了一些常用的图像变换，这些变换能够用Compose串联组合起来 torchvision.transforms.Compose(transforms) # 用于把一系列变换组合到一起。 # 参数：transforms（list或Transform对象）- 一系列需要进行组合的变换。 >>> transforms.Compose([ &g...
matlab 读取csv_利用Pytorch进行数据加载1--CSV文件的读取和显示
weixin_39806948的博客
12-04 419
import os # 文件处理模块，用于处理文件和目录 import torch # pytorch的深度学习框架 import pandas as pd #人脸识别库 from skimage import io, transform # skimage为数字图像处理包，io用于读取、保存和显示图片或视频，transform用于几何变换和其他变换 import numpy as np ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

thequitesunshine007

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值