pytorch的dataset和dataloader实例分析

这篇“pytorch的dataset和dataloader实例分析”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“pytorch的dataset和dataloader实例分析”文章吧。

dataset,dataloder分析

  1. 本来自己创建的cifar_data_test文件夹下只存放从网上下载的数据集
    cifar-10-python.tar.gz

  2. 由于download=True的存在:多了一个cifar-10-batches-py

dataset = torchvision.datasets.CIFAR10(root='./cifar_data_test',download=True)

print(dataset)可以看出数据集默认train=True

  1. train=False用来选择是训练集还是测试集

dataset = torchvision.datasets.CIFAR10(root='./cifar_data_test',train=False,download=True)print(dataset)print(dataset.classes)print(dataset.data.shape,"\\n",dataset.data)
  1. transform
    一:因为CIFAR10本来就是tensor,所以对其没用
    二:dataset中加的transform并不会让数据集归一化,只有在dataloader时才归一化

import torchvision.datasetsimport torchvision.transforms as transformsfrom torch.utils.data import DataLoader#transform有两个操作,一是变成pythonj易于处理的tensor形式,二是将tensor归一化transform = transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.1307,),(0.3081,))])dataset = torchvision.datasets.CIFAR10(root='./cifar_data_test',train=True,download=True,transform=transform)print(dataset.data)#未归一化train_loader = DataLoader(dataset,shuffle=False,batch_size=32)#dataloader无transform参数for img,target in train_loader:print(img)#数据归一化

以上就是关于“pytorch的dataset和dataloader实例分析”这篇文章的内容,相信大家都有了一定的了解,希望小编分享的内容对大家有帮助,若想了解更多相关的知识内容,请关注云搜网行业资讯频道。