RELU以及其在深度學(xué)習(xí)中的作用是什么,針對這個問題,這篇文章詳細介紹了相對應(yīng)的分析和解答,希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。
創(chuàng)新互聯(lián)長期為成百上千客戶提供的網(wǎng)站建設(shè)服務(wù),團隊從業(yè)經(jīng)驗10年,關(guān)注不同地域、不同群體,并針對不同對象提供差異化的產(chǎn)品和服務(wù);打造開放共贏平臺,與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為定遠企業(yè)提供專業(yè)的網(wǎng)站建設(shè)、成都網(wǎng)站制作,定遠網(wǎng)站改版等技術(shù)服務(wù)。擁有10多年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。
神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)中的激活函數(shù)在激發(fā)隱藏節(jié)點以產(chǎn)生更理想的輸出方面起著重要作用。激活函數(shù)的主要目的是將非線性特性引入模型。
在人工神經(jīng)網(wǎng)絡(luò)中,給定一個輸入或一組輸入,節(jié)點的激活函數(shù)定義該節(jié)點的輸出??梢詫藴始呻娐芬暈榧せ罟δ艿目刂破?,根據(jù)輸入的不同,激活功能可以是“ ON”或“ OFF”。
Sigmoid和tanh是單調(diào)、可微的激活函數(shù),是在RELU出現(xiàn)以前比較流行的激活函數(shù)。然而,隨著時間的推移,這些函數(shù)會遭受飽和,這導(dǎo)致出現(xiàn)梯度消失的問題。解決這一問題的另一種和最流行的激活函數(shù)是直線修正單元(ReLU)。
上面的圖中用藍線表示的是直線單元(ReLU),而綠線是ReLU的變體,稱為Softplus。ReLU的其他變體包括Leaky ReLU、ELU、SiLU等,用于提高某些任務(wù)的性能。
在本文中,我們只考慮直線單元(ReLU),因為默認情況下,它仍然是執(zhí)行大多數(shù)深度學(xué)習(xí)任務(wù)最常用的激活函數(shù)。它的變體通常用于特定的目的,在那里他們可能有輕微的優(yōu)勢在ReLU。
這個激活函數(shù)是Hahnloser等人在2000年首次引入到一個動態(tài)網(wǎng)絡(luò)中,具有很強的生物學(xué)動機和數(shù)學(xué)證明。與2011年之前廣泛使用的激活函數(shù),如logistic sigmoid(靈感來自于概率理論和logistic回歸)及其更實用的tanh(對應(yīng)函數(shù)雙曲正切)相比,2011年首次證明了該函數(shù)能夠更好地訓(xùn)練更深層次的網(wǎng)絡(luò)。
截止到2017年,整流器是深度神經(jīng)網(wǎng)絡(luò)中最受歡迎的激活函數(shù)。采用整流器的單元也稱為整流線性單元(ReLU)。
RELU的最大問題是它在點0處是不可微的。而研究人員傾向于使用可微函數(shù),例如S型和tanh。但是在0點可微這種情況畢竟還是特殊情況,所以到目前為止ReLU還是深度學(xué)習(xí)的最佳激活功能,畢竟他需要的計算量是非常小的,計算速度很快。
ReLU激活函數(shù)在除0點外的所有點都是可微的。對于大于0的值,我們只考慮函數(shù)的最大值??梢赃@樣寫:
f(x) = max{0, z}
簡單地說,也可以這樣寫:
if input > 0:
return input
else:
return 0
所有負數(shù)默認為0,并考慮正數(shù)的最大值。
對于神經(jīng)網(wǎng)絡(luò)的反向傳播計算,ReLU的判別相對容易。我們唯一要做的假設(shè)是在點0處的導(dǎo)數(shù),也被認為是0。這通常不是一個大問題,而且在大多數(shù)情況下都能很好地工作。函數(shù)的導(dǎo)數(shù)就是斜率的值。負值的斜率是0.0,正值的斜率是1.0。
ReLU激活函數(shù)的主要優(yōu)點是:
卷積層和深度學(xué)習(xí):它們是卷積層和深度學(xué)習(xí)模型訓(xùn)練中最常用的激活函數(shù)。
計算簡單:整流函數(shù)實現(xiàn)起來很簡單,只需要一個max()函數(shù)。
代表性稀疏性:整流器函數(shù)的一個重要優(yōu)點是它能夠輸出一個真正的零值。
線性行為:當神經(jīng)網(wǎng)絡(luò)的行為是線性或接近線性時,它更容易被優(yōu)化。
然而,經(jīng)過RELU單元的主要問題是所有的負值會立即變?yōu)榱?,這降低了模型對數(shù)據(jù)正確擬合或訓(xùn)練的能力。
這意味著任何給ReLU激活函數(shù)的負輸入都會立即將圖中的值變?yōu)榱?,這反過來會影響結(jié)果圖,因為沒有適當?shù)赜成湄摰闹?。不過,通過使用ReLU激活函數(shù)的不同變體(如Leaky ReLU和前面討論的其他函數(shù)),可以很容易地修復(fù)這個問題。
關(guān)于RELU以及其在深度學(xué)習(xí)中的作用是什么問題的解答就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,如果你還有很多疑惑沒有解開,可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識。