真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網站制作重慶分公司

對pytorch中的梯度更新方法詳解-創(chuàng)新互聯(lián)

背景

在廣安等地區(qū),都構建了全面的區(qū)域性戰(zhàn)略布局,加強發(fā)展的系統(tǒng)性、市場前瞻性、產品創(chuàng)新能力,以專注、極致的服務理念,為客戶提供成都網站建設、做網站 網站設計制作定制制作,公司網站建設,企業(yè)網站建設,品牌網站設計,成都全網營銷推廣,外貿網站制作,廣安網站建設費用合理。

使用pytorch時,有一個yolov3的bug,我認為涉及到學習率的調整。收集到tencent yolov3和mxnet開源的yolov3,兩個優(yōu)化器中的學習率設置不一樣,而且使用GPU數目和batch的更新也不太一樣。據此,我簡單的了解了下pytorch的權重梯度的更新策略,看看能否一窺究竟。

對代碼說明

共三個實驗,分布寫在代碼中的(一)(二)(三)三個地方。運行實驗時注釋掉其他兩個

實驗及其結果

實驗(三):

不使用zero_grad()時,grad累加在一起,官網是使用accumulate 來表述的,所以不太清楚是取的和還是均值(這兩種最有可能)。

不使用zero_grad()時,是直接疊加add的方式累加的。

tensor([[[ 1., 1.],……torch.Size([2, 2, 2])
0 2 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 
tensor([[[ 2., 2.],…… torch.Size([2, 2, 2])
1 2 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 
tensor([[[ 3., 3.],…… torch.Size([2, 2, 2])
2 2 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。


標題名稱:對pytorch中的梯度更新方法詳解-創(chuàng)新互聯(lián)
新聞來源:http://weahome.cn/article/dhoshd.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部