本篇文章為大家展示了利用tensorflow如何實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)，內(nèi)容簡(jiǎn)明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過(guò)這篇文章的詳細(xì)介紹希望你能有所收獲。
一．知識(shí)點(diǎn)總結(jié)
1. 卷積神經(jīng)網(wǎng)絡(luò)出現(xiàn)的初衷是降低對(duì)圖像的預(yù)處理，避免建立復(fù)雜的特征工程。因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)在訓(xùn)練的過(guò)程中，自己會(huì)提取特征。
2. 靈感來(lái)自于貓的視覺(jué)皮層研究，每一個(gè)視覺(jué)神經(jīng)元只會(huì)處理一小塊區(qū)域的視覺(jué)圖像，即感知野。放到卷積神經(jīng)網(wǎng)絡(luò)里就是每一個(gè)隱含節(jié)點(diǎn)只與設(shè)定范圍內(nèi)的像素點(diǎn)相連（設(shè)定范圍就是卷積核的尺寸），而全連接層是每個(gè)像素點(diǎn)與每個(gè)隱含節(jié)點(diǎn)相連。這種感知野也稱(chēng)之為局部感知。
例如，一張1000*1000的圖片，如果隱含層有100*100個(gè)隱含節(jié)點(diǎn)全連接，則需要1000*1000*100*100+100*100個(gè)參數(shù)，而如果有10*10的范圍局部感知，用同樣多的隱含節(jié)點(diǎn)，只需要10*10*100*100+100*100個(gè)參數(shù)。
3. 把卷積的過(guò)程稱(chēng)作卷積濾波，除了上面的局部感知，卷積濾波還有一個(gè)化簡(jiǎn)操作——權(quán)值共享。即一個(gè)卷積濾波中的所有隱含節(jié)點(diǎn)與感知圖像連接的權(quán)值是一樣的，這樣，上述例子的參數(shù)減少為10*10+100*100個(gè)了。W的數(shù)量等于感知范圍的尺寸。
4. 為了抗變形和減小復(fù)雜度，卷積層同時(shí)還要做激活和池化。激活函數(shù)前一章已經(jīng)弄明白了，池化，相當(dāng)于降采樣，將n*n的像素區(qū)域采樣為m*m區(qū)域，m通常小于n。通常選擇大池化，即選擇區(qū)域內(nèi)的大像素點(diǎn)。
5. 總結(jié)來(lái)講，卷積有三個(gè)要點(diǎn)：局部連接、權(quán)值共享、池化降采樣。一個(gè)卷積過(guò)程包含三個(gè)步驟：卷積濾波、激活、池化。
6. 卷積濾波中的卷積范圍可以用一個(gè)詞來(lái)代替——卷積核，卷積核等同于卷積濾波中的一個(gè)隱含節(jié)點(diǎn)感知范圍。由于權(quán)值共享，相當(dāng)于一個(gè)卷積核對(duì)整個(gè)圖像做多次小范圍濾波，每濾一次波生成一個(gè)小的特征圖像，多次濾波后將所有小特征圖像組合起來(lái)，生成了對(duì)整個(gè)圖像的feature map。通常，一個(gè)卷積濾波過(guò)程有多個(gè)卷積核卷積，生成多張feature map。
所有的feature map都會(huì)被池化，然后輸入下一層。
7. 需要訓(xùn)練的權(quán)值（參數(shù)）的數(shù)量只和卷積核尺寸有關(guān)，隱含節(jié)點(diǎn)（即卷積核要卷積的次數(shù)）只和卷積的卷積步長(zhǎng)、圖像尺寸有關(guān)。
個(gè)人理解，一個(gè)卷積核對(duì)整個(gè)圖像卷積的過(guò)程，就像是一個(gè)棋子，在整個(gè)棋盤(pán)上按照步長(zhǎng)跳動(dòng)，每跳動(dòng)一次，對(duì)感知范圍內(nèi)的像素點(diǎn)做一次連接計(jì)算。
8. CNN在結(jié)構(gòu)上和圖像的結(jié)構(gòu)更為接近，都是2D的，因此，早期用在圖像上效果很好，但是最近，CNN用于NLP也很熱門(mén)。
二．程序解析
重慶分公司
重慶分公司
# coding: utf-8
# In[1]:
from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf
mnist = input_data.read_data_sets("MNSIT_data/", one_hot=True)
sess = tf.InteractiveSession()
# In[2]:
#由于W和b在各層中均要用到，先定義乘函數(shù)。
#tf.truncated_normal：截?cái)嗾龖B(tài)分布，即限制范圍的正態(tài)分布
def weight_variable(shape):
initial = tf.truncated_normal(shape, stddev=0.1)
return tf.Variable(initial)
# In[7]:
#bias初始化值0.1.
def bias_variable(shape):
initial = tf.constant(0.1, shape=shape)
return tf.Variable(initial)
# In[12]:
#tf.nn.conv2d:二維的卷積
#conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None,data_format=None, name=None)
#filter:A 4-D tensor of shape
# `[filter_height, filter_width, in_channels, out_channels]`
#strides:步長(zhǎng)，都是1表示所有點(diǎn)都不會(huì)被遺漏。1-D 4值，表示每歌dim的移動(dòng)步長(zhǎng)。
# padding:邊界的處理方式，“SAME"、"VALID”可選
def conv2d(x, W):
return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
#tf.nn.max_pool:大值池化函數(shù)，即求2*2區(qū)域的大值，保留最顯著的特征。
#max_pool(value, ksize, strides, padding, data_format="NHWC", name=None)
#ksize:池化窗口的尺寸
#strides:[1,2,2,1]表示橫豎方向步長(zhǎng)為2
def max_pool_2x2(x):
return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides = [1, 2, 2, 1], padding='SAME')
x = tf.placeholder(tf.float32, [None, 784])
y_ = tf.placeholder(tf.float32, [None, 10])
#tf.reshape:tensor的變形函數(shù)。
#-1：樣本數(shù)量不固定
#28,28：新形狀的shape
#1:顏色通道數(shù)
x_image = tf.reshape(x, [-1, 28, 28, 1])
#卷積層包含三部分：卷積計(jì)算、激活、池化
#[5,5,1,32]表示卷積核的尺寸為5×5, 顏色通道為1, 有32個(gè)卷積核
W_conv1 = weight_variable([5, 5, 1, 32])
b_conv1 = bias_variable([32])
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
h_pool1 = max_pool_2x2(h_conv1)
W_conv2 = weight_variable([5, 5, 32, 64])
b_conv2 = bias_variable([64])
h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2)
#經(jīng)過(guò)2次2×2的池化后，圖像的尺寸變?yōu)?×7,第二個(gè)卷積層有64個(gè)卷積核，生成64類(lèi)特征，因此，卷積最后輸出為7×7×64.
#tensor進(jìn)入全連接層之前，先將64張二維圖像變形為1維圖像，便于計(jì)算。
W_fc1 = weight_variable([7*7*64, 1024])
b_fc1 = bias_variable([1024])
h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)
#對(duì)全連接層做dropot
keep_prob = tf.placeholder(tf.float32)
h_fc1_dropout = tf.nn.dropout(h_fc1, keep_prob)
#又一個(gè)全連接后foftmax分類(lèi)
W_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])
y_conv = tf.nn.softmax(tf.matmul(h_fc1_dropout, W_fc2) + b_fc2)
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_*tf.log(y_conv), reduction_indices=[1]))
#AdamOptimizer：Adam優(yōu)化函數(shù)
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(y_, 1), tf.argmax(y_conv, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
#訓(xùn)練，并且每100個(gè)batch計(jì)算一次精度
tf.global_variables_initializer().run()
for i in range(20000):
batch = mnist.train.next_batch(50)
if i%100 == 0:
train_accuracy = accuracy.eval(feed_dict={x:batch[0], y_:batch[1], keep_prob:1.0})
print("step %d, training accuracy %g" %(i, train_accuracy))
train_step.run(feed_dict={x:batch[0], y_:batch[1], keep_prob:0.5})
#在測(cè)試集上測(cè)試
print("test accuracy %g"%accuracy.eval(feed_dict={x:mnist.test.images, y_:mnist.test.labels, keep_prob:1.0}))上述內(nèi)容就是利用tensorflow如何實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
