這篇文章主要為大家展示了“EfficientNet是什么意思”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“EfficientNet是什么意思”這篇文章吧。

霍邱網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)建站！從網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、響應(yīng)式網(wǎng)站等網(wǎng)站項目制作，到程序開發(fā)，運營維護。創(chuàng)新互聯(lián)建站從2013年開始到現(xiàn)在10年的時間，我們擁有了豐富的建站經(jīng)驗和運維經(jīng)驗，來保證我們的工作的順利進行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)建站。

簡介

EfficientNet源自Google Brain的論文EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. 從標(biāo)題也可以看出，這篇論文最主要的創(chuàng)新點是Model Scaling. 論文提出了compound scaling，混合縮放，把網(wǎng)絡(luò)縮放的三種方式：深度、寬度、分辨率，組合起來按照一定規(guī)則縮放，從而提高網(wǎng)絡(luò)的效果。EfficientNet在網(wǎng)絡(luò)變大時效果提升明顯，把精度上限進一步提升，成為了當(dāng)前最強網(wǎng)絡(luò)。EfficientNet-B7在ImageNet上獲得了最先進的 84.4%的top-1精度 和 97.1%的top-5精度，比之前最好的卷積網(wǎng)絡(luò)（GPipe, Top-1: 84.3%, Top-5: 97.0%）大小縮小8.4倍、速度提升6.1倍。

EfficientNet的主要創(chuàng)新點并不是結(jié)構(gòu)，不像ResNet、SENet發(fā)明了shortcut或attention機制，EfficientNet的base結(jié)構(gòu)是利用結(jié)構(gòu)搜索搜出來的，然后使用compound scaling規(guī)則放縮，得到一系列表現(xiàn)優(yōu)異的網(wǎng)絡(luò)：B0~B7. 下面兩幅圖分別是ImageNet的Top-1 Accuracy隨參數(shù)量和flops變化關(guān)系圖，可以看到EfficientNet飽和值高，并且到達(dá)速度快。

原理

增加網(wǎng)絡(luò)參數(shù)可以獲得更好的精度（有足夠的數(shù)據(jù)，不過擬合的條件下），例如ResNet可以加深從ResNet-18到ResNet-200，GPipe將baseline模型放大四倍在ImageNet數(shù)據(jù)集上獲得了84.3%的top-1精度。增加網(wǎng)絡(luò)參數(shù)的方式有三種：深度、寬度和分辨率。

深度是指網(wǎng)絡(luò)的層數(shù)，寬度指網(wǎng)絡(luò)中卷積的channel數(shù)（例如wide resnet中通過增加channel數(shù)獲得精度收益），分辨率是指通過網(wǎng)絡(luò)輸入大小（例如從112x112到224x224）

直觀上來講，這三種縮放方式并不不獨立。對于分辨率高的圖像，應(yīng)該用更深的網(wǎng)絡(luò)，因為需要更大的感受野，同時也應(yīng)該增加網(wǎng)絡(luò)寬度來獲得更細(xì)粒度的特征。

之前增加網(wǎng)絡(luò)參數(shù)都是單獨放大這三種方式中的一種，并沒有同時調(diào)整，也沒有調(diào)整方式的研究。EfficientNet使用了compound scaling方法，統(tǒng)一縮放網(wǎng)絡(luò)深度、寬度和分辨率。

如下圖所示，(a)為baseline網(wǎng)絡(luò)，(b)、(c)、(d)為單獨通過增加width，depth以及resolution使得網(wǎng)絡(luò)變大的方式，(e)為compound scaling的方式。

EfficientNet中的base網(wǎng)絡(luò)是和MNAS采用類似的方法（唯一區(qū)別在于目標(biāo)從硬件延時改為了FLOPS），使用了compound scaling后，效果非常顯著，在不同參數(shù)量和計算量都取得了多倍的提升。

此外，作者為了驗證單獨compound scaling的收益，base網(wǎng)絡(luò)不使用MNAS網(wǎng)絡(luò)結(jié)構(gòu)搜索的結(jié)果，直接使用MobileNets和ResNet作為base進行scaling，結(jié)果顯示在FLOPS接近的情況下，Top-1 Acc有0.6~1.4%的提升。

最后，EfficientNet的延時相對于ResNet/GPipe也有5~6倍的提升。

以上是“EfficientNet是什么意思”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！