函數(shù)的偏導(dǎo)數(shù)組成的向量即梯度
創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),臨沂企業(yè)網(wǎng)站建設(shè),臨沂品牌網(wǎng)站建設(shè),網(wǎng)站定制,臨沂網(wǎng)站建設(shè)報價,網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,臨沂網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè),幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競爭力??沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿,時刻以成就客戶成長自我,堅持不斷學(xué)習(xí)、思考、沉淀、凈化自己,讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。
已知梯度求原函數(shù)
可參見:格林公式那章。
給的條件有點(diǎn)少,我多點(diǎn)假設(shè)。
已知X,Y,我認(rèn)為是已知給定X輸入和對應(yīng)期望的Y輸出。
對于優(yōu)化目標(biāo)函數(shù),也就是最后的訓(xùn)練誤差函數(shù),視為最簡單的實(shí)際輸出Y'和期望輸出Y的均方差。
已知學(xué)習(xí)率n(可以自行設(shè)置)。
假設(shè)輸出層激活函數(shù)為線性。
1.設(shè)置初始的a,b,c(任?。?/p>
2.計算實(shí)際的Y'輸出
3.根據(jù)期望Y和實(shí)際Y',得到對應(yīng)的均方差J
4.使用誤差函數(shù)J對a,b,c分別求偏導(dǎo)(鏈?zhǔn)椒▌t),并代值計算出數(shù)字
5.對初始的a,b,c減去(學(xué)習(xí)率*對應(yīng)的偏導(dǎo)),得到新的a,b,c
6.重復(fù)第二步,迭代一定的輪數(shù)或誤差小于一個期望值。
7.輸出a,b,c.
如:z=x+y
則:z的梯度為:(dz/dx,dz/dy)=(1,1),即由多元函數(shù)的各一階導(dǎo)數(shù)構(gòu)成的向量:
關(guān)鍵是理解梯度的定義:
f(x1,x2)的梯度為(A,B)
其中A表示f對x1求偏導(dǎo)數(shù)。
B表示f對x2求偏導(dǎo)數(shù)。
按照這個定義不難求得
函數(shù)F(X)=x1^2-x2^2/2+4+x1
的梯度為
(2
x1
+
1,-x2)
所以函數(shù)F(X)=x1^2-x2^2/2+4+x1
在點(diǎn)X=(3,2)^T處的梯度是
(7,-2)
設(shè)二元函數(shù)f(x,y),對于每一個點(diǎn)P(x,y)都可定出一個向量fx(x,y)i+fy(x,y)j,該函數(shù)就稱為函數(shù)f(x,y)在點(diǎn)P的梯度。函數(shù)梯度本意是指一個向量(矢量),表示某一函數(shù)在該點(diǎn)處的方向?qū)?shù)沿著該方向取得最大值,即函數(shù)在該點(diǎn)處沿著該方向(此梯度的方向)變化最快,變化率最大(為該梯度的模)。