這篇文章主要講解了“將PyTorch投入生產(chǎn)的常見(jiàn)錯(cuò)誤有哪些”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“將PyTorch投入生產(chǎn)的常見(jiàn)錯(cuò)誤有哪些”吧！

成都創(chuàng)新互聯(lián)公司專注于南崗網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠(chéng)為您提供南崗營(yíng)銷型網(wǎng)站建設(shè)，南崗網(wǎng)站制作、南崗網(wǎng)頁(yè)設(shè)計(jì)、南崗網(wǎng)站官網(wǎng)定制、小程序定制開(kāi)發(fā)服務(wù)，打造南崗網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供南崗網(wǎng)站排名全網(wǎng)營(yíng)銷落地服務(wù)。

錯(cuò)誤 #1 — 在推理模式下保存動(dòng)態(tài)圖

如果你以前使用過(guò)TensorFlow，那么你可能知道TensorFlow和PyTorch之間的關(guān)鍵區(qū)別 —— 靜態(tài)圖和動(dòng)態(tài)圖。調(diào)試TensorFlow非常困難，因?yàn)槊看文Ｐ透臅r(shí)都要重新構(gòu)建graph。這需要時(shí)間、努力和你的希望。當(dāng)然，TensorFlow現(xiàn)在更好了。

總的來(lái)說(shuō)，為了使調(diào)試更容易，ML框架使用動(dòng)態(tài)圖，這些圖與PyTorch中所謂的Variables有關(guān)。你使用的每個(gè)變量都鏈接到前一個(gè)變量，以構(gòu)建反向傳播的關(guān)系。

下面是它在實(shí)際中的樣子：

在大多數(shù)情況下，你希望在模型訓(xùn)練完成后優(yōu)化所有的計(jì)算。如果你看一下torch的接口，有很多可選項(xiàng)，特別是在優(yōu)化方面。eval模式、detach和no_grad的方法造成了很多混亂。讓我來(lái)解釋一下它們是如何工作的。在模型被訓(xùn)練和部署之后，以下是你所關(guān)心的事情：速度、速度和CUDA內(nèi)存溢出異常。

為了加速PyTorch模型，你需要將它切換到eval模式。它通知所有層在推理模式下使用batchnorm和dropout層(簡(jiǎn)單地說(shuō)就是不使用dropout)?，F(xiàn)在，有一個(gè)detach方法可以將變量從它的計(jì)算圖中分離出來(lái)。當(dāng)你從頭開(kāi)始構(gòu)建模型時(shí)，它很有用，但當(dāng)你想重用SOTA的模型時(shí)，它就不太有用了。一個(gè)更全局性的解決方案將是在前向傳播的時(shí)候在上下文中使用torch.no_grad。這樣可以不用在在結(jié)果中存儲(chǔ)圖中變量的梯度，從而減少內(nèi)存消耗。它節(jié)省內(nèi)存，簡(jiǎn)化計(jì)算，因此，你得到更多的速度和更少的內(nèi)存使用。

錯(cuò)誤 #2 — 沒(méi)有使能cudnn優(yōu)化算法

你可以在nn.Module中設(shè)置很多布爾標(biāo)志，有一個(gè)是你必須知道的。使用cudnn.benchmark = True來(lái)對(duì)cudnn進(jìn)行優(yōu)化。通過(guò)設(shè)置cudnn.enabled = True，可以確保cudnn確實(shí)在尋找最優(yōu)算法。NVIDIA在優(yōu)化方面為你提供了很多神奇的功能，你可以從中受益。

請(qǐng)注意你的數(shù)據(jù)必須在GPU上，模型輸入大小不應(yīng)該改變。數(shù)據(jù)的形狀的變化越多，可以做的優(yōu)化就越少。例如，要對(duì)數(shù)據(jù)進(jìn)行歸一化，可以對(duì)圖像進(jìn)行預(yù)處理?？傊?，可以有變化，但不要太多。

錯(cuò)誤 #3 — 重用 JIT-compilation

PyTorch提供了一種簡(jiǎn)單的方法來(lái)優(yōu)化和重用來(lái)自不同語(yǔ)言的模型(見(jiàn)Python-To-Cpp)。如果你足夠勇敢，你可能會(huì)更有創(chuàng)造力，并將你的模型嵌入到其他語(yǔ)言中。

JIT-compilation允許在輸入形狀不變的情況下優(yōu)化計(jì)算圖。它的意思是，如果你的數(shù)據(jù)形狀變化不大(參見(jiàn)錯(cuò)誤#2)，JIT是一種選擇。老實(shí)說(shuō)，和上面提到的no_grad和cudnn相比，它并沒(méi)有太大的區(qū)別，但可能有。這只是第一個(gè)版本，有巨大的潛力。

請(qǐng)注意，如果你的模型中有conditions，這在RNNs中很常見(jiàn)，它就沒(méi)法用了。

錯(cuò)誤 #4 — 嘗試擴(kuò)展使用CPU

GPU很貴，云虛擬機(jī)也一樣很貴。即使使用AWS，一個(gè)實(shí)例也將花費(fèi)你大約100美元/天(最低價(jià)格是0.7美元/小時(shí))。也許有人會(huì)想“如果我用5個(gè)CPU來(lái)代替1個(gè)GPU可以嗎？”。所有試過(guò)的人都知道這是一個(gè)死胡同。是的，你可以為CPU優(yōu)化一個(gè)模型，但是最終它還是會(huì)比GPU慢。相信我，我強(qiáng)烈建議忘記這個(gè)想法。

錯(cuò)誤 #5 — 處理向量而不是矩陣

• cudnn - check

• no_grad - check

• GPU with correct version of CUDA - check

• JIT-compilation - check

一切都準(zhǔn)備好了，還能做什么？

現(xiàn)在是時(shí)候使用一點(diǎn)數(shù)學(xué)了。如果你還記得大部分NN是如何用所謂的張量訓(xùn)練的。張量在數(shù)學(xué)上是一個(gè)n維數(shù)組或多線性幾何向量。你能做的就是把輸入(如果你有足夠的時(shí)間的話)分組成張量或者矩陣，然后把它輸入到你的模型中。例如，使用圖像數(shù)組作為發(fā)送到PyTorch的矩陣。性能增益等于同時(shí)傳遞的對(duì)象數(shù)量。

這是一個(gè)顯而易見(jiàn)的解決方案，但是很少有人真正使用它，因?yàn)榇蠖鄶?shù)時(shí)候?qū)ο蠖际且粋€(gè)一個(gè)地處理的，而且在流程上設(shè)置這樣的流可能有點(diǎn)困難。別擔(dān)心，你會(huì)成功的！

感謝各位的閱讀，以上就是“將PyTorch投入生產(chǎn)的常見(jiàn)錯(cuò)誤有哪些”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)將PyTorch投入生產(chǎn)的常見(jiàn)錯(cuò)誤有哪些這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！