本篇內(nèi)容主要講解“pytorch梯度裁剪的原理是什么”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“pytorch梯度裁剪的原理是什么”吧!

創(chuàng)新互聯(lián)公司公司2013年成立，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元寶安做網(wǎng)站,已為上家服務(wù),為寶安各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18982081108

既然在BP過(guò)程中會(huì)產(chǎn)生梯度消失/爆炸（就是偏導(dǎo)無(wú)限接近0，導(dǎo)致長(zhǎng)時(shí)記憶無(wú)法更新），那么最簡(jiǎn)單粗暴的方法，設(shè)定閾值，當(dāng)梯度小于/大于閾值時(shí)，更新的梯度為閾值，如下圖所示：

1、梯度裁剪原理

優(yōu)點(diǎn)：簡(jiǎn)單粗暴
缺點(diǎn)：很難找到滿意的閾值

2、nn.utils.clip_grad_norm(parameters, max_norm, norm_type=2)

這個(gè)函數(shù)是根據(jù)參數(shù)的范數(shù)來(lái)衡量的

Parameters:

• parameters(Iterable[Variable]) – 一個(gè)基于變量的迭代器，會(huì)進(jìn)行歸一化（原文：an iterable of Variables that will have gradients normalized）

• max_norm(float or int) – 梯度的最大范數(shù)

• norm_type(float or int) – 規(guī)定范數(shù)的類型，默認(rèn)為L(zhǎng)2

Returns:參數(shù)的總體范數(shù)（作為單個(gè)向量來(lái)看）

到此，相信大家對(duì)“pytorch梯度裁剪的原理是什么”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！