利用Tensorflow怎么實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)?很多新手對(duì)此不是很清楚,為了幫助大家解決這個(gè)難題,下面小編將為大家詳細(xì)講解,有這方面需求的人可以來(lái)學(xué)習(xí)下,希望你能有所收獲。
創(chuàng)新互聯(lián)長(zhǎng)期為1000多家客戶提供的網(wǎng)站建設(shè)服務(wù),團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年,關(guān)注不同地域、不同群體,并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù);打造開放共贏平臺(tái),與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為平陰企業(yè)提供專業(yè)的網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計(jì),平陰網(wǎng)站改版等技術(shù)服務(wù)。擁有十多年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。1.概述
定義:
卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是一種前饋神經(jīng)網(wǎng)絡(luò),它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元,對(duì)于大型圖像處理有出色表現(xiàn)。它包括卷積層(alternating convolutional layer)和池層(pooling layer)。
卷積層(convolutional layer):
對(duì)輸入數(shù)據(jù)應(yīng)用若干過濾器,一個(gè)輸入?yún)?shù)被用來(lái)做很多類型的提取。
池化層(Pooling Layer):
也叫子采樣層,縮減數(shù)據(jù)的規(guī)模
2. 代碼實(shí)現(xiàn)
首先要導(dǎo)入mnist數(shù)據(jù),下載地址
訓(xùn)練數(shù)據(jù):60000*784,訓(xùn)練標(biāo)簽:60000*10
測(cè)試數(shù)據(jù):10000*784,測(cè)試標(biāo)簽:10000*10
#導(dǎo)入mnist數(shù)據(jù) import input_data mnist = input_data.read_data_sets("/tmp/data/", one_hot=True) # start tensorflow interactiveSession import tensorflow as tf sess = tf.InteractiveSession() # weight initialization #初始化時(shí)加入輕微噪聲,來(lái)打破對(duì)稱性,防止零梯度問題 #權(quán)重初始化 def weight_variable(shape): #截?cái)嗾龖B(tài)分布 initial = tf.truncated_normal(shape, stddev=0.1) return tf.Variable(initial) #偏置初始化 def bias_variable(shape): initial = tf.constant(0.1, shape = shape) return tf.Variable(initial) # convolution卷積 #卷積使用1步長(zhǎng)(stride size),0邊距(padding size)的模板, #padding='SAME'說(shuō)明在 #保證輸出和輸入是同一個(gè)大小 def conv2d(x, W): return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME') # pooling池化 #把特征圖像區(qū)域的一部分求個(gè)均值或者大值,用來(lái)代表這部分區(qū)域。 #如果是求均值就是mean pooling,求大值就是max pooling。 #池化用簡(jiǎn)單傳統(tǒng)的2x2大小的模板做max pooling def max_pool_2x2(x): return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME') # 輸入任意數(shù)量的圖像,每一張圖平鋪成784維向量 x = tf.placeholder("float", [None, 784]) # target為10維標(biāo)簽向量 y_ = tf.placeholder("float", [None, 10]) # 權(quán)重是784*10,偏置值是[10] W = tf.Variable(tf.zeros([784,10])) b = tf.Variable(tf.zeros([10])) # y=x*W+b y = tf.nn.softmax(tf.matmul(x,W) + b) # 第一個(gè)卷積層 # 權(quán)重是一個(gè) [5, 5, 1, 32] 的張量,前兩個(gè)維度是patch的大小, # 接著是輸入的通道數(shù)目,最后是輸出的通道數(shù)目。 # 輸出對(duì)應(yīng)一個(gè)同樣大小的偏置向量。 w_conv1 = weight_variable([5, 5, 1, 32]) b_conv1 = bias_variable([32]) # 為了用這一層,我們把 x 變成一個(gè)4d向量, # 第2、3維對(duì)應(yīng)圖片的寬高,最后一維代表顏色通道。 x_image = tf.reshape(x, [-1, 28, 28, 1]) ''' x_image 和權(quán)值向量進(jìn)行卷積相乘,加上偏置, 使用ReLU激活函數(shù),最后max pooling ''' #h_conv1由于步長(zhǎng)是1,輸出單張圖片大小不變是[28,28] h_conv1 = tf.nn.relu(conv2d(x_image, w_conv1) + b_conv1) #h_pool1由于步長(zhǎng)是2,輸出單張圖片大小減半[14,14] h_pool1 = max_pool_2x2(h_conv1) # 第二個(gè)卷積層 ''' 為了構(gòu)建一個(gè)更深的網(wǎng)絡(luò),我們會(huì)把幾個(gè)類似的層堆疊起來(lái)。 第二層中,每個(gè)5x5的patch會(huì)得到64個(gè)特征。 ''' w_conv2 = weight_variable([5, 5, 32, 64]) b_conv2 = bias_variable([64]) #h_conv2由于步長(zhǎng)是1,輸出單張圖片大小不變是[14,14] h_conv2 = tf.nn.relu(conv2d(h_pool1, w_conv2) + b_conv2) #h_pool2由于步長(zhǎng)是2,輸出單張圖片大小減半[7,7] h_pool2 = max_pool_2x2(h_conv2) # densely connected layer密集連接層 ''' 現(xiàn)在,圖片降維到7x7,我們加入一個(gè)有1024個(gè)神經(jīng)元的全連接層, 用于處理整個(gè)圖片。我們把池化層輸出的張量reshape成一些向量, 乘上權(quán)重矩陣,加上偏置,使用ReLU激活。 ''' w_fc1 = weight_variable([7*7*64, 1024]) b_fc1 = bias_variable([1024]) h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64]) h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, w_fc1) + b_fc1) # dropout ''' 為了減少過擬合,我們?cè)谳敵鰧又凹尤雂ropout。我們用一個(gè) placeholder 來(lái)代表一個(gè)神經(jīng)元在dropout中被保留的概率。 這樣我們可以在訓(xùn)練過程中啟用dropout,在測(cè)試過程中關(guān)閉dropout。 TensorFlow的 操作會(huì)自動(dòng)處理神經(jīng)元輸出值的scale。 所以用dropout的時(shí)候可以不用考慮scale。 ''' keep_prob = tf.placeholder("float") h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob) # readout layer #添加一個(gè)softmax層,就像前面的單層softmax regression一樣 w_fc2 = weight_variable([1024, 10]) b_fc2 = bias_variable([10]) y_conv = tf.nn.softmax(tf.matmul(h_fc1_drop, w_fc2) + b_fc2) ''' 我們會(huì)用更加復(fù)雜的ADAM優(yōu)化器來(lái)做梯度最速下降, 在 feed_dict 中加入額外的參數(shù)keep_prob來(lái)控制dropout比例。 然后每100次迭代輸出一次日志。 ''' # train and evaluate the model訓(xùn)練和評(píng)價(jià)模型 #計(jì)算交叉熵 cross_entropy = -tf.reduce_sum(y_*tf.log(y_conv)) #梯度下降求最小交叉熵 train_step = tf.train.GradientDescentOptimizer(1e-3).minimize(cross_entropy) #train_step = tf.train.AdagradOptimizer(1e-5).minimize(cross_entropy) #檢測(cè)我們的預(yù)測(cè)是否真實(shí)標(biāo)簽匹配 correct_prediction = tf.equal(tf.argmax(y_conv, 1), tf.argmax(y_, 1)) #把布爾值轉(zhuǎn)換成浮點(diǎn)數(shù),然后取平均值 accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float")) #初始化變量 sess.run(tf.initialize_all_variables()) for i in range(20000): #隨機(jī)抓取訓(xùn)練數(shù)據(jù)中的50個(gè)批處理數(shù)據(jù)點(diǎn),然后我們用這些數(shù)據(jù)點(diǎn)作為參數(shù)替換 之前的占位符來(lái)運(yùn)行train_step batch = mnist.train.next_batch(50) #每100次打印下 if i%100 == 0: train_accuracy = accuracy.eval(feed_dict={x:batch[0], y_:batch[1], keep_prob:1.0}) print "step %d, train accuracy %g" %(i, train_accuracy) train_step.run(feed_dict={x:batch[0], y_:batch[1], keep_prob:0.5}) print "test accuracy %g" % accuracy.eval(feed_dict={x:mnist.test.images, y_:mnist.test.labels, keep_prob:1.0})
看完上述內(nèi)容是否對(duì)您有幫助呢?如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章,請(qǐng)關(guān)注創(chuàng)新互聯(lián)成都網(wǎng)站設(shè)計(jì)公司行業(yè)資訊頻道,感謝您對(duì)創(chuàng)新互聯(lián)成都網(wǎng)站設(shè)計(jì)公司的支持。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無(wú)理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、網(wǎng)站設(shè)計(jì)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。