pytorch的dataset和dataloader实例分析

作者

这篇“pytorch的dataset和dataloader实例分析”文章的知识点大部分人都不太理解，所以小编给大家总结了以下内容，内容详细，步骤清晰，具有一定的借鉴价值，希望大家阅读完这篇文章能有所收获，下面我们一起来看看这篇“pytorch的dataset和dataloader实例分析”文章吧。

dataset,dataloder分析

  1. 本来自己创建的cifar_data_test文件夹下只存放从网上下载的数据集
    cifar-10-python.tar.gz

  2. 由于download=True的存在：多了一个cifar-10-batches-py

dataset = torchvision.datasets.CIFAR10(root='./cifar_data_test',download=True)

print(dataset)可以看出数据集默认train=True

  1. train=False用来选择是训练集还是测试集

dataset = torchvision.datasets.CIFAR10(root='./cifar_data_test',train=False,download=True)print(dataset)print(dataset.classes)print(dataset.data.shape,"\\n",dataset.data)

  1. transform
    一：因为CIFAR10本来就是tensor，所以对其没用
    二：dataset中加的transform并不会让数据集归一化，只有在dataloader时才归一化

import torchvision.datasetsimport torchvision.transforms as transformsfrom torch.utils.data import DataLoader#transform有两个操作，一是变成pythonj易于处理的tensor形式，二是将tensor归一化transform = transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.1307,),(0.3081,))])dataset = torchvision.datasets.CIFAR10(root='./cifar_data_test',train=True,download=True,transform=transform)print(dataset.data)#未归一化train_loader = DataLoader(dataset,shuffle=False,batch_size=32)#dataloader无transform参数for img,target in train_loader:print(img)#数据归一化

以上就是关于“pytorch的dataset和dataloader实例分析”这篇文章的内容，相信大家都有了一定的了解，希望小编分享的内容对大家有帮助，若想了解更多相关的知识内容，请关注云搜网行业资讯频道。