背景
在廣安等地區(qū),都構建了全面的區(qū)域性戰(zhàn)略布局,加強發(fā)展的系統(tǒng)性、市場前瞻性、產品創(chuàng)新能力,以專注、極致的服務理念,為客戶提供成都網站建設、做網站 網站設計制作定制制作,公司網站建設,企業(yè)網站建設,品牌網站設計,成都全網營銷推廣,外貿網站制作,廣安網站建設費用合理。使用pytorch時,有一個yolov3的bug,我認為涉及到學習率的調整。收集到tencent yolov3和mxnet開源的yolov3,兩個優(yōu)化器中的學習率設置不一樣,而且使用GPU數目和batch的更新也不太一樣。據此,我簡單的了解了下pytorch的權重梯度的更新策略,看看能否一窺究竟。
對代碼說明
共三個實驗,分布寫在代碼中的(一)(二)(三)三個地方。運行實驗時注釋掉其他兩個
實驗及其結果
實驗(三):
不使用zero_grad()時,grad累加在一起,官網是使用accumulate 來表述的,所以不太清楚是取的和還是均值(這兩種最有可能)。
不使用zero_grad()時,是直接疊加add的方式累加的。
tensor([[[ 1., 1.],……torch.Size([2, 2, 2]) 0 2 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * tensor([[[ 2., 2.],…… torch.Size([2, 2, 2]) 1 2 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * tensor([[[ 3., 3.],…… torch.Size([2, 2, 2]) 2 2 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。