小編給大家分享一下alexnet網(wǎng)絡(luò)結(jié)構(gòu)指的是什么，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

成都創(chuàng)新互聯(lián)公司是一家專注于成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)與策劃設(shè)計(jì),瑪納斯網(wǎng)站建設(shè)哪家好?成都創(chuàng)新互聯(lián)公司做網(wǎng)站,專注于網(wǎng)站建設(shè)10余年,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:瑪納斯等地區(qū)。瑪納斯做網(wǎng)站價(jià)格咨詢:13518219792

第一層卷積層1，卷積核的數(shù)量為96；第二層卷積層2，卷積的個(gè)數(shù)為256個(gè)；第三層卷積3, 輸入為第二層的輸出，卷積核個(gè)數(shù)為384；第四層卷積4，輸入為第三層的輸出，卷積核個(gè)數(shù)為384；第五層卷積5, 輸入為第四層的輸出，卷積核個(gè)數(shù)為256。

本教程操作環(huán)境：windows7系統(tǒng)、Dell G3電腦。

AlexNet網(wǎng)絡(luò)，是2012年ImageNet競(jìng)賽冠軍獲得者Hinton和他的學(xué)生Alex Krizhevsky設(shè)計(jì)的。在那年之后，更多的更深的神經(jīng)網(wǎng)路被提出，比如優(yōu)秀的vgg,GoogleLeNet。其官方提供的數(shù)據(jù)模型，準(zhǔn)確率達(dá)到57.1%,top 1-5 達(dá)到80.2%. 這項(xiàng)對(duì)于傳統(tǒng)的機(jī)器學(xué)習(xí)分類算法而言，已經(jīng)相當(dāng)?shù)某錾?

網(wǎng)絡(luò)結(jié)構(gòu)解析

上圖所示是caffe中alexnet的網(wǎng)絡(luò)結(jié)構(gòu)，采用是兩臺(tái)GPU服務(wù)器，所有會(huì)看到兩個(gè)流程圖。AlexNet的網(wǎng)絡(luò)模型解讀如下表：

解讀如下:

第一層：卷積層1，輸入為 224×224×3 224 \times 224 \times 3224×224×3的圖像，卷積核的數(shù)量為96，論文中兩片GPU分別計(jì)算48個(gè)核; 卷積核的大小為 11×11×3 11 \times 11 \times 311×11×3; stride = 4, stride表示的是步長(zhǎng)， pad = 0, 表示不擴(kuò)充邊緣;卷積后的圖形大小是怎樣的呢？
wide = (224 + 2 * padding - kernel_size) / stride + 1 = 54height = (224 + 2 * padding - kernel_size) / stride + 1 = 54dimention = 96然后進(jìn)行 (Local Response Normalized), 后面跟著池化pool_size = (3, 3), stride = 2, pad = 0 最終獲得第一層卷積的feature map最終第一層卷積的輸出為

第二層：卷積層2, 輸入為上一層卷積的feature map， 卷積的個(gè)數(shù)為256個(gè)，論文中的兩個(gè)GPU分別有128個(gè)卷積核。卷積核的大小為：5×5×48 5 \times 5 \times 485×5×48; pad = 2, stride = 1; 然后做 LRN， 最后 max_pooling, pool_size = (3, 3), stride = 2;
第三層：卷積3, 輸入為第二層的輸出，卷積核個(gè)數(shù)為384, kernel_size = (3×3×256 3 \times 3 \times 2563×3×256)， padding = 1, 第三層沒有做LRN和Pool

第四層：卷積4, 輸入為第三層的輸出，卷積核個(gè)數(shù)為384, kernel_size = (3×3 3 \times 33×3), padding = 1, 和第三層一樣，沒有LRN和Pool

第五層：卷積5, 輸入為第四層的輸出，卷積核個(gè)數(shù)為256, kernel_size = (3×3 3 \times 33×3), padding = 1。然后直接進(jìn)行max_pooling, pool_size = (3, 3), stride = 2;第6,7,8層是全連接層，每一層的神經(jīng)元的個(gè)數(shù)為4096，最終輸出softmax為1000,因?yàn)樯厦娼榻B過(guò)，ImageNet這個(gè)比賽的分類個(gè)數(shù)為1000。全連接層中使用了RELU和Dropout。

用caffe 自帶的繪圖工具(caffe/python/draw_net.py) 和caffe/models/bvlc_alexnet/目錄下面的train_val.prototxt繪制的網(wǎng)絡(luò)結(jié)構(gòu)圖如下圖:

python3 draw_net.py --rankdir TB ../models/bvlc_alexnet/train_val.prototxt AlexNet_structure.jpg

算法創(chuàng)新點(diǎn)

（1）成功使用ReLU作為CNN的激活函數(shù)，并驗(yàn)證其效果在較深的網(wǎng)絡(luò)超過(guò)了Sigmoid，成功解決了Sigmoid在網(wǎng)絡(luò)較深時(shí)的梯度彌散問(wèn)題。雖然ReLU激活函數(shù)在很久之前就被提出了，但是直到AlexNet的出現(xiàn)才將其發(fā)揚(yáng)光大。

（2）訓(xùn)練時(shí)使用Dropout隨機(jī)忽略一部分神經(jīng)元，以避免模型過(guò)擬合。Dropout雖有單獨(dú)的論文論述，但是AlexNet將其實(shí)用化，通過(guò)實(shí)踐證實(shí)了它的效果。在AlexNet中主要是最后幾個(gè)全連接層使用了Dropout。

（3）在CNN中使用重疊的最大池化。此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果。并且AlexNet中提出讓步長(zhǎng)比池化核的尺寸小，這樣池化層的輸出之間會(huì)有重疊和覆蓋，提升了特征的豐富性。

（4）提出了LRN層，對(duì)局部神經(jīng)元的活動(dòng)創(chuàng)建競(jìng)爭(zhēng)機(jī)制，使得其中響應(yīng)比較大的值變得相對(duì)更大，并抑制其他反饋較小的神經(jīng)元，增強(qiáng)了模型的泛化能力。

（5）多GPU訓(xùn)練,可以增大網(wǎng)絡(luò)訓(xùn)練規(guī)模.

（6）百萬(wàn)級(jí)ImageNet數(shù)據(jù)圖像輸入.在AlexNet用到的Data Augmentation方式有三種:

平移變換(crop);

反射變換(flip);

光照和彩色變換(color jittering):先對(duì)圖片進(jìn)行隨機(jī)平移,然后水平翻轉(zhuǎn).測(cè)試時(shí),先對(duì)左上,右上,左下,右下和中間做5次平移變換,然后翻轉(zhuǎn)之后對(duì)結(jié)果求平均.

歸納總結(jié)為：

1. 使用ReLU激活函數(shù)；

2. 提出Dropout防止過(guò)擬合；

3. 使用數(shù)據(jù)擴(kuò)充增強(qiáng)數(shù)據(jù)集(Data augmentation)；

水平翻轉(zhuǎn)圖像、隨機(jī)裁剪、平移變換、顏色變換、光照變換等

4. 使用多GPU進(jìn)行訓(xùn)練；

將上層的結(jié)果按照通道維度拆分為2份，分別送入2個(gè)GPU，如上一層輸出的27×27×96的像素層（被分成兩組27×27×48的像素層放在兩個(gè)不同GPU中進(jìn)行運(yùn)算）；

1. LRN局部歸一化的使用；

2. 使用重疊池化(3*3的池化核)。

Caffe框架下訓(xùn)練

準(zhǔn)備數(shù)據(jù)集，修改Alexnet網(wǎng)絡(luò)的train.prototxt，配置solver，deploy.prototxt文件，新建train.sh腳本，即可開始訓(xùn)練。

以上是“alexnet網(wǎng)絡(luò)結(jié)構(gòu)指的是什么”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！