我們知道深度神經網絡的本質是輸入端數據和輸出端數據的一種高維非線性擬合,如何更好的理解它,下面嘗試擬合一個正弦函數,本文可以通過簡單設置節(jié)點數,實現任意隱藏層數的擬合。
基于pytorch的深度神經網絡實戰(zhàn),無論任務多么復雜,都可以將其拆分成必要的幾個模塊來進行理解。
1)構建數據集,包括輸入,對應的標簽y
2) 構建神經網絡模型,一般基于nn.Module繼承一個net類,必須的是__init__函數和forward函數。__init__構造函數包括創(chuàng)建該類是必須的參數,比如輸入節(jié)點數,隱藏層節(jié)點數,輸出節(jié)點數。forward函數則定義了整個網絡的前向傳播過程,類似于一個Sequential。
3)實例化上步創(chuàng)建的類。
4)定義損失函數(判別準則),比如均方誤差,交叉熵等
5)定義優(yōu)化器(optim:SGD,adam,adadelta等),設置學習率
6)開始訓練。開始訓練是一個從0到設定的epoch的循環(huán),循環(huán)期間,根據loss,不斷迭代和更新網絡權重參數。
無論多么復雜的網絡,基于pytorch的深度神經網絡都包括6個模塊,訓練階段包括5個步驟,本文只通過擬合一個正弦函數來說明加深理解。
廢話少說,直接上代碼:
from torch.utils.data import DataLoader from torch.utils.data import TensorDataset import torch.nn as nn import numpy as np import torch # 準備數據 x=np.linspace(-2*np.pi,2*np.pi,400) y=np.sin(x) # 將數據做成數據集的模樣 X=np.expand_dims(x,axis=1) Y=y.reshape(400,-1) # 使用批訓練方式 dataset=TensorDataset(torch.tensor(X,dtype=torch.float),torch.tensor(Y,dtype=torch.float)) dataloader=DataLoader(dataset,batch_size=100,shuffle=True) # 神經網絡主要結構,這里就是一個簡單的線性結構 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.net=nn.Sequential( nn.Linear(in_features=1,out_features=10),nn.ReLU(), nn.Linear(10,100),nn.ReLU(), nn.Linear(100,10),nn.ReLU(), nn.Linear(10,1) ) def forward(self, input:torch.FloatTensor): return self.net(input) net=Net() # 定義優(yōu)化器和損失函數 optim=torch.optim.Adam(Net.parameters(net),lr=0.001) Loss=nn.MSELoss() # 下面開始訓練: # 一共訓練 1000次 for epoch in range(1000): loss=None for batch_x,batch_y in dataloader: y_predict=net(batch_x) loss=Loss(y_predict,batch_y) optim.zero_grad() loss.backward() optim.step() # 每100次 的時候打印一次日志 if (epoch+1)%100==0: print("step: {0} , loss: {1}".format(epoch+1,loss.item())) # 使用訓練好的模型進行預測 predict=net(torch.tensor(X,dtype=torch.float)) # 繪圖展示預測的和真實數據之間的差異 import matplotlib.pyplot as plt plt.plot(x,y,label="fact") plt.plot(x,predict.detach().numpy(),label="predict") plt.title("sin function") plt.xlabel("x") plt.ylabel("sin(x)") plt.legend() plt.savefig(fname="result.png",figsize=[10,10]) plt.show()
另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。