本篇內(nèi)容主要講解“tensorflow查看梯度方式是什么”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“tensorflow查看梯度方式是什么”吧!

專業(yè)成都網(wǎng)站建設(shè)公司，做排名好的好網(wǎng)站，排在同行前面，為您帶來客戶和效益!創(chuàng)新互聯(lián)為您提供成都網(wǎng)站建設(shè)，五站合一網(wǎng)站設(shè)計(jì)制作，服務(wù)好的網(wǎng)站設(shè)計(jì)公司，成都網(wǎng)站制作、網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)負(fù)責(zé)任的成都網(wǎng)站制作公司!

1. 為什么要查看梯度

對(duì)于初學(xué)者來說網(wǎng)絡(luò)經(jīng)常不收斂，loss很奇怪（就是不收斂），所以懷疑是反向傳播中梯度的問題

（1）求導(dǎo)之后的數(shù)（的絕對(duì)值）越來越?。ㄚ吔?），這就是梯度消失

（2）求導(dǎo)之后的數(shù)（的絕對(duì)值）越來越大（特別大，發(fā)散），這就是梯度爆炸

所以說呢，當(dāng)loss不正常時(shí)，可以看看梯度是否處于爆炸，或者是消失了，梯度爆炸的話，網(wǎng)絡(luò)中的W也會(huì)很大，人工控制一下（初始化的時(shí)候弄小點(diǎn)等等肯定還有其它方法，只是我不知道，知道的大神也可以稍微告訴我一下~~），要是梯度消失，可以試著用用resnet,densenet之類的

2. tensorflow中如何查看梯度

tf.gradients(y,x)這里的就是y對(duì)于x的導(dǎo)數(shù)（dy/dx）,x和y一定要有關(guān)聯(lián)哦~

直接tf.gradients(y_, weight1)就可以了~

到此，相信大家對(duì)“tensorflow查看梯度方式是什么”有了更深的了解，不妨來實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)建站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

本文名稱：tensorflow查看梯度方式是什么-創(chuàng)新互聯(lián)
本文來源：http://weahome.cn/article/icdis.html