傳送門: https://www.cnblogs.com/greentomlee/p/.html
github: Leezhen2014: https://github.com/Leezhen2014/python_deep_learning
在第二篇中介紹了用數(shù)值微分的形式計算神經(jīng)網(wǎng)絡(luò)的梯度,數(shù)值微分的形式比較簡單也容易實現(xiàn),但是計算上比較耗時。本章會介紹一種能夠較為高效的計算出梯度的方法:基于圖的誤差反向傳播。
根據(jù) deep learning from scratch 這本書的介紹,在誤差反向傳播方法的實現(xiàn)上有兩種方法:一種是基于數(shù)學(xué)式的(第二篇就是利用的這種方法),一種是基于計算圖的。這兩種方法的本質(zhì)是一樣的,有所不同的是表述方法。計算圖的方法可以參考feifei li負責(zé)的斯坦福大學(xué)公開課CS231n 或者theano的tutorial/Futher readings/graph Structures.
之前我們的誤差傳播是基于數(shù)學(xué)式的,可以看出對代碼編寫者來說很麻煩;
這次我們換成基于計算圖的;
網(wǎng)站名稱:動手實現(xiàn)深度學(xué)習(xí)(5):計算圖的實現(xiàn)
分享URL:
http://weahome.cn/article/dsogeoe.html