這篇文章將為大家詳細(xì)講解有關(guān)Pytorch中MNIST數(shù)據(jù)集預(yù)處理的示例分析，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。
成都創(chuàng)新互聯(lián)公司-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比納溪網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式納溪網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋納溪地區(qū)。費(fèi)用合理售后完善，10余年實(shí)體公司更值得信賴。MNIST的準(zhǔn)確率達(dá)到99.7%
用于MNIST的卷積神經(jīng)網(wǎng)絡(luò)（CNN）的實(shí)現(xiàn)，具有各種技術(shù)，例如數(shù)據(jù)增強(qiáng)，丟失，偽隨機(jī)化等。
操作系統(tǒng)：ubuntu18.04
顯卡：GTX1080ti
python版本：2.7（3.7）
網(wǎng)絡(luò)架構(gòu)
具有4層的CNN具有以下架構(gòu)。
輸入層：784個(gè)節(jié)點(diǎn)（MNIST圖像大?。?/p>
第一卷積層：5x5x32
第一個(gè)大池層
第二卷積層：5x5x64
第二個(gè)大池層
第三個(gè)完全連接層：1024個(gè)節(jié)點(diǎn)
輸出層：10個(gè)節(jié)點(diǎn)（MNIST的類數(shù))
用于改善CNN性能的工具
采用以下技術(shù)來改善CNN的性能。
1. Data augmentation
通過以下方式將列車數(shù)據(jù)的數(shù)量增加到5倍
隨機(jī)旋轉(zhuǎn)：每個(gè)圖像在[-15°，+ 15°]范圍內(nèi)隨機(jī)旋轉(zhuǎn)。
隨機(jī)移位：每個(gè)圖像在兩個(gè)軸上隨機(jī)移動(dòng)一個(gè)范圍為[-2pix，+ 2pix]的值。
零中心歸一化：將像素值減去（PIXEL_DEPTH / 2）并除以PIXEL_DEPTH。
2. Parameter initializers
重量初始化器：xaiver初始化器
偏差初始值設(shè)定項(xiàng)：常量（零）初始值設(shè)定項(xiàng)
3. Batch normalization
所有卷積/完全連接的層都使用批量標(biāo)準(zhǔn)化。
4. Dropout
The third fully-connected layer employes dropout technique.
5. Exponentially decayed learning rate
A learning rate is decayed every after one-epoch.
代碼部分
第一步：了解MNIST數(shù)據(jù)集
MNIST數(shù)據(jù)集是一個(gè)手寫體數(shù)據(jù)集，一共60000張圖片，所有的圖片都是28×28的，下載數(shù)據(jù)集的地址：數(shù)據(jù)集官網(wǎng)。這個(gè)數(shù)據(jù)集由四部分組成，分別是：
train-images-idx3-ubyte.gz: training set images (9912422 bytes) train-labels-idx1-ubyte.gz: training set labels (28881 bytes) t10k-images-idx3-ubyte.gz: test set images (1648877 bytes) t10k-labels-idx1-ubyte.gz: test set labels (4542 bytes)
也就是一個(gè)訓(xùn)練圖片集，一個(gè)訓(xùn)練標(biāo)簽集，一個(gè)測試圖片集，一個(gè)測試標(biāo)簽集；我們可以看出這個(gè)其實(shí)并不是普通的文本文件
或是圖片文件，而是一個(gè)壓縮文件，下載并解壓出來，我們看到的是二進(jìn)制文件。
第二步：加載MNIST數(shù)據(jù)集
先引入一些庫文件
import torchvision,torch import torchvision.transforms as transforms from torch.utils.data import Dataset, DataLoader import matplotlib.pyplot as plt
加載MNIST數(shù)據(jù)集有很多方法：
方法一：在pytorch下可以直接調(diào)用torchvision.datasets里面的MNIST數(shù)據(jù)集（這是官方寫好的數(shù)據(jù)集類）
train = torchvision.datasets.MNIST(root='./mnist/',train=True, transform= transforms.ToTensor())
返回值為一個(gè)元組（train_data,train_target)(這個(gè)類使用的時(shí)候也有坑，必須用train[i]索引才能使用 transform功能)
一般是與torch.utils.data.DataLoader配合使用
dataloader = DataLoader(train, batch_size=50,shuffle=True, num_workers=4) for step, (x, y) in enumerate(dataloader): b_x = x.shape b_y = y.shape print 'Step: ', step, '| train_data的維度' ,b_x,'| train_target的維度',b_y
如圖將60000張圖片的數(shù)據(jù)分為1200份，每份包含50張圖像，這樣并行處理數(shù)據(jù)能有效加快計(jì)算速度
看個(gè)人喜好，本人不太喜歡這種固定的數(shù)據(jù)類，所以想要靈活多變，可以開始自己寫數(shù)據(jù)集類
方法二：自己設(shè)置數(shù)據(jù)集
使用pytorch相關(guān)類，API對數(shù)據(jù)集進(jìn)行封裝，pytorch中數(shù)據(jù)集相關(guān)的類位于torch.utils.data package中。
本次實(shí)驗(yàn)，主要使用以下類：
torch.utils.data.Dataset
torch.utils.data.DataLoader
Dataset類的使用： 所有的類都應(yīng)該是此類的子類(也就是說應(yīng)該繼承該類)。 所有的子類都要重寫(override) len(), getitem() 這兩個(gè)方法。
使用到的python package
| python package | 目的 |
|---|---|
numpy | 矩陣操作，對圖像進(jìn)行轉(zhuǎn)置 |
skimage | 圖像處理，圖像I/O,圖像變換 |
matplotlib | 圖像的顯示，可視化 |
os | 一些文件查找操作 |
torch | pytorch |
torvision | pytorch |
導(dǎo)入相關(guān)的包
import numpy as np from skimage import io from skimage import transform import matplotlib.pyplot as plt import os import torch import torchvision from torch.utils.data import Dataset, DataLoader from torchvision.transforms import transforms from PIL import Image
第一步：
定義一個(gè)子類，繼承Dataset類， 重寫 __len()__, __getitem()__ 方法。
細(xì)節(jié)：
1.數(shù)據(jù)集一個(gè)樣本的表示：采用字典的形式sample = {'img': img, 'target': target}。
圖像的讀?。翰捎胻orch.load進(jìn)行讀取，讀取之后的結(jié)果為torch.Tensor形式。
圖像變換：transform參數(shù)
重慶分公司
重慶分公司
class MY_MNIST(Dataset):
training_file = 'training.pt'
test_file = 'test.pt'
def __init__(self, root, transform=None):
self.transform = transform
self.data, self.targets = torch.load(root)
def __getitem__(self, index):
img, target = self.data[index], int(self.targets[index])
img = Image.fromarray(img.numpy(), mode='L')
if self.transform is not None:
img = self.transform(img)
img =transforms.ToTensor()(img)
sample = {'img': img, 'target': target}
return sample
def __len__(self):
return len(self.data)
train = MY_MNIST(root='./mnist/MNIST/processed/training.pt', transform= None)第二步
實(shí)例化一個(gè)對象，并讀取和顯示數(shù)據(jù)集
for (cnt,i) in enumerate(train):
image = i['img']
label = i['target']
ax = plt.subplot(4, 4, cnt+1)
# ax.axis('off')
ax.imshow(image.squeeze(0))
ax.set_title(label)
plt.pause(0.001)
if cnt ==15:
break輸出如下 ，這樣就表明，咱們自己寫的數(shù)據(jù)集讀取圖像，并讀取之后的結(jié)果為torch.Tensor形式成功啦！
第三步(可選 optional)
對數(shù)據(jù)集進(jìn)行變換：一般收集到的圖像大小尺寸，亮度等存在差異，變換的目的就是使得數(shù)據(jù)歸一化。另一方面，可以通過變換進(jìn)行數(shù)據(jù)增強(qiáng)
關(guān)于pytorch中的變換transforms,請參考該系列之前的文章
由于數(shù)據(jù)集中樣本采用字典dicts形式表示。 因此不能直接調(diào)用torchvision.transofrms中的方法。
本實(shí)驗(yàn)進(jìn)行了旋轉(zhuǎn)，隨機(jī)裁剪，調(diào)節(jié)圖像的色彩飽和明暗等操作。
compose = transforms.Compose([
transforms.Resize(20),
transforms.RandomHorizontalFlip(),
transforms.RandomCrop(20),
transforms.ColorJitter(brightness=1, contrast=0.1, hue=0.5),
# transforms.ToTensor(),
# transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5])
])
train_transformed = MY_MNIST(root='./mnist/MNIST/processed/training.pt', transform= compose)
#顯示變換后的圖像
for (cnt,i) in enumerate(train_transformed):
image = i['img']
# print image[0].sum()
# image = compose(image)
print 'sdsdadfasfasfasf',type(image)
label = i['target']
ax = plt.subplot(4, 4, cnt+1)
# ax.axis('off')
ax.imshow(image.squeeze(0))
ax.set_title(label)
plt.pause(0.001)
if cnt ==15:
break變換后的圖像，和之前對比，你發(fā)現(xiàn)了什么不同嗎？
第四步： 使用DataLoader進(jìn)行包裝
為何要使用DataLoader?
① 深度學(xué)習(xí)的輸入是mini_batch形式
② 樣本加載時(shí)候可能需要隨機(jī)打亂順序，shuffle操作
③ 樣本加載需要采用多線程
pytorch提供的DataLoader封裝了上述的功能，這樣使用起來更方便。
# 使用DataLoader可以利用多線程，batch,shuffle等 trainset_dataloader = DataLoader(dataset=transformed_trainset, batch_size=4, shuffle=True, num_workers=4)
可視化：
dataloader = DataLoader(train, batch_size=50,shuffle=True, num_workers=4)
通過DataLoader包裝之后，樣本以min_batch形式輸出，而且進(jìn)行了隨機(jī)打亂順序。
for step, i in enumerate(dataloader): b_x = i['img'].shape b_y = i['target'].shape print 'Step: ', step, '| train_data的維度' ,b_x,'| train_target的維度',b_y
如圖圖片大小已經(jīng)裁剪為20*20，而且并行處理讓60000個(gè)數(shù)據(jù)在3秒內(nèi)就能處理好，效率非常高
Step: 1186 | train_data的維度 (50, 1, 20, 20) | train_target的維度 (50,) Step: 1187 | train_data的維度 (50, 1, 20, 20) | train_target的維度 (50,) Step: 1188 | train_data的維度 (50, 1, 20, 20) | train_target的維度 (50,) Step: 1189 | train_data的維度 (50, 1, 20, 20) | train_target的維度 (50,) Step: 1190 | train_data的維度 (50, 1, 20, 20) | train_target的維度 (50,) Step: 1191 | train_data的維度 (50, 1, 20, 20) | train_target的維度 (50,) Step: 1192 | train_data的維度 (50, 1, 20, 20) | train_target的維度 (50,) Step: 1193 | train_data的維度 (50, 1, 20, 20) | train_target的維度 (50,) Step: 1194 | train_data的維度 (50, 1, 20, 20) | train_target的維度 (50,) Step: 1195 | train_data的維度 (50, 1, 20, 20) | train_target的維度 (50,) Step: 1196 | train_data的維度 (50, 1, 20, 20) | train_target的維度 (50,) Step: 1197 | train_data的維度 (50, 1, 20, 20) | train_target的維度 (50,) Step: 1198 | train_data的維度 (50, 1, 20, 20) | train_target的維度 (50,) Step: 1199 | train_data的維度 (50, 1, 20, 20) | train_target的維度 (50,)
關(guān)于“Pytorch中MNIST數(shù)據(jù)集預(yù)處理的示例分析”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯(cuò)，請把它分享出去讓更多的人看到。
