CV 在前，NLP 在后，遷移學(xué)習(xí)技術(shù)的應(yīng)用為這兩個(gè)領(lǐng)域所帶來(lái)的進(jìn)展和突破，不可謂不矚目。
其中，預(yù)訓(xùn)練模型作為當(dāng)下遷移學(xué)習(xí)的一種主流方法，讓 從零開(kāi)始訓(xùn)練一個(gè)新模型 的時(shí)代一去不復(fù)返。這類在大型數(shù)據(jù)集上訓(xùn)練好的模型進(jìn)行微調(diào)后，便能夠較好地適配類似的新目標(biāo)任務(wù)，可以極大地節(jié)約時(shí)間和成本。
不過(guò)，天下沒(méi)有免費(fèi)的午餐，這種方法看似 一勞永逸 ，也需要付出一定的代價(jià)，其中的一大問(wèn)題便是，由于反向傳播帶給深層卷積層的更新較小，微調(diào)得到的模型往往被 吸引 在預(yù)訓(xùn)練模型附近，無(wú)法得到充分更新。
對(duì)此，百度的一篇 ICML 2020 工作《RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr》，提出了一種簡(jiǎn)單有效的策略 RIFLE，通過(guò)周期性的重新初始化全連接層，給深層的特征提取網(wǎng)絡(luò)帶來(lái)有意義的更新，提升低層次特征的學(xué)習(xí)，從而顯著提升遷移學(xué)習(xí)的效果。
論文地址：https://proceedings.icml.cc/static/paper_files/icml/2020/3745-Paper.pdf
開(kāi)源地址：https://github.com/haozhe-an/RIFLE-Paddle-Implementation
基于 PaddlePaddle 的實(shí)現(xiàn)：https://github.com/haozhe-an/RIFLE-Paddle-Implementation
據(jù)悉，該方法已超過(guò)已有同類方法如 Dropout、Dropconnect、Stochastic Depth、 Disturb Label 以及 Cyclic Learning Rate 等，在多個(gè)數(shù)據(jù)集上的效果提升 0.5%-2%。
為了深度解析這項(xiàng)工作背后的算法原理以及應(yīng)用效果，AI 科技評(píng)論特別邀請(qǐng)到了論文一作、百度大數(shù)據(jù)實(shí)驗(yàn)室資深工程師李興建，來(lái)做論文直播分享！
時(shí)間就定在 7 月 24 日 20:00 整，各位同學(xué)記得準(zhǔn)時(shí)收看 ~
分享主題：RIFLE 算法：通過(guò)重新初始化全連接層加深遷移學(xué)習(xí)中的梯度反向傳播
分享嘉賓：李興建，百度大數(shù)據(jù)實(shí)驗(yàn)室資深工程師，多年自然語(yǔ)言處理、深度學(xué)習(xí)、遷移學(xué)習(xí)等領(lǐng)域工作經(jīng)驗(yàn)
分享時(shí)間：7 月 24 日（周五晚） 20:00 整
分享背景：
基于一個(gè)預(yù)訓(xùn)練的深度學(xué)習(xí)模型進(jìn)行微調(diào)，成為一種主流的遷移學(xué)習(xí)方式。該方法雖然簡(jiǎn)單有效，但微調(diào)得到的模型經(jīng)常被『吸引』在預(yù)訓(xùn)練模型附近，無(wú)法得到充分更新。我們的工作提出一種簡(jiǎn)單有效的策略 RIFLE，通過(guò)周期性的重新初始化全連接層，給深層的特征提取網(wǎng)絡(luò)帶來(lái)有意義的更新，提升低層次特征的學(xué)習(xí)。
分享提綱：
深度遷移學(xué)習(xí)簡(jiǎn)介和 RIFLE 算法提出的動(dòng)機(jī)
算法流程
算法效果及討論
二層網(wǎng)絡(luò)模擬實(shí)驗(yàn)
如何加入？
掃碼關(guān)注 [ AI 研習(xí)社頂會(huì)小助手 ] 微信號(hào)，發(fā)送關(guān)鍵字 ICML 2020+ 直播 ，即可進(jìn)群觀看直播和獲取課程資料。
重慶分公司
重慶分公司
