I 前向傳播網(wǎng)絡(luò)搭建

成都創(chuàng)新互聯(lián)公司企業(yè)建站,10年網(wǎng)站建設(shè)經(jīng)驗(yàn)，專注于網(wǎng)站建設(shè)技術(shù)，精于網(wǎng)頁(yè)設(shè)計(jì)，有多年建站和網(wǎng)站代運(yùn)營(yíng)經(jīng)驗(yàn)，設(shè)計(jì)師為客戶打造網(wǎng)絡(luò)企業(yè)風(fēng)格，提供周到的建站售前咨詢和貼心的售后服務(wù)。對(duì)于成都網(wǎng)站制作、網(wǎng)站設(shè)計(jì)中不同領(lǐng)域進(jìn)行深入了解和探索，創(chuàng)新互聯(lián)在網(wǎng)站建設(shè)中充分了解客戶行業(yè)的需求，以靈動(dòng)的思維在網(wǎng)頁(yè)中充分展現(xiàn)，通過(guò)對(duì)客戶行業(yè)精準(zhǔn)市場(chǎng)調(diào)研，為客戶提供的解決方案。

在mnist_forward.py中搭建兩層全連接網(wǎng)絡(luò)，這里面就是定義層數(shù)，節(jié)點(diǎn)數(shù)，激活函數(shù)這些。

輸入節(jié)點(diǎn)數(shù)目就是mnist數(shù)據(jù)集的圖片28*28大小，用784行的向量作為輸入。

第一層y1=relu(x*w1+b1 )其中y1為500行的向量。那么w1里面就有784*500個(gè)變量啦～～b1是500個(gè)變量。然后經(jīng)過(guò)一個(gè)relu激活函數(shù)。

第二層就是從500節(jié)點(diǎn)變換到10個(gè)節(jié)點(diǎn)的輸出，輸出為標(biāo)簽，表示0-9手寫(xiě)數(shù)字出現(xiàn)的概率。y=y1*w2+b2。w2就是500*10的矩陣。b2是10行的向量。沒(méi)有激活函數(shù)。

這里面w1 b1 w2 b2就是要訓(xùn)練的參數(shù)

采用了正則化

正則化就是在損失函數(shù)中給每個(gè)參數(shù)w加上權(quán)重，引入模型復(fù)雜度指標(biāo)，從而抑制模型噪聲，減少過(guò)擬合。這里使用的是L2正則化，即w的L2范數(shù)也是loss的一部分，也就是說(shuō)在求解最優(yōu)w的過(guò)程中，要使得w的值盡量在0附近。

import tensorflow as tf

INPUT_NODE = 784

OUTPUT_NODE = 10

LAYER1_NODE = 500

def get_weight(shape,regularizer):

w = tf.Variable(tf.truncated_normal(shape,stddev=0.1))

# 截?cái)嗾龖B(tài)分布

if regularizer != None: tf.add_to_collection('losses',tf.contrib.layers.l2_regularizer(regularizer)(w))

# 使用正則化 L2范數(shù) 將每個(gè)參數(shù)的正則化損失加到總損失中

return w

def get_bias(shape):

b = tf.Variable(tf.zeros(shape))

return b

def forward(x,regularizer):

w1 = get_weight([INPUT_NODE,LAYER1_NODE],regularizer)

b1 = get_bias([LAYER1_NODE])

y1 = tf.nn.relu(tf.matmul(x,w1) + b1)

w2 = get_weight([LAYER1_NODE,OUTPUT_NODE],regularizer)

b2 = get_bias([OUTPUT_NODE])

y = tf.matmul(y1,w2) + b2

return y

II誤差反向傳播

在mnist_backward.py中讀入mnist數(shù)據(jù)集，計(jì)算誤差，進(jìn)行誤差反向傳播，實(shí)現(xiàn)模型的訓(xùn)練，得到網(wǎng)絡(luò)參數(shù)并保存在模型中

2.1 loss

loss的計(jì)算先用softmax把輸出的10行向量變成概率分布，再與真實(shí)的輸出標(biāo)簽進(jìn)行對(duì)比，求交叉熵。cross entropy 可以看作是兩個(gè)概率分布函數(shù)之間的距離。距離越小，說(shuō)明預(yù)測(cè)越準(zhǔn)確，loss越小。

2.2 學(xué)習(xí)率

學(xué)習(xí)率是每次沿著梯度下降方向進(jìn)行參數(shù)更新的步長(zhǎng)，步長(zhǎng)過(guò)大會(huì)導(dǎo)致在最優(yōu)點(diǎn)震蕩，步長(zhǎng)過(guò)小會(huì)導(dǎo)致學(xué)習(xí)速度太慢。這里采用了指數(shù)衰減的步長(zhǎng)。在訓(xùn)練初始階段，步長(zhǎng)較大，較快收斂，在最優(yōu)點(diǎn)附近，步長(zhǎng)較小，能夠得到較精確的最優(yōu)解。

2.3 滑動(dòng)平均

記錄一段時(shí)間內(nèi)模型中所有參數(shù)w和b的各自的平均值。用于增強(qiáng)模型的泛化能力。

import tensorflow as tf

import mnist_forward

import os無(wú)錫婦科醫(yī)院 http://www.bhnnk120.com/

os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"

from tensorflow.examples.tutorials.mnist import input_data

BATCH_SIZE = 200 #每次輸入的圖片數(shù)

LEARNING_RATE_BASE = 0.1 #初始學(xué)習(xí)率

LEARNING_RATE_DECAY = 0.99 #學(xué)習(xí)率衰減率

REGULARIZER = 0.0001 #正則化系數(shù)

STEPS = 10000 #訓(xùn)練輪數(shù)

MOVING_AVERAGE_DECAY = 0.99

MODEL_SAVE_PATH="./model/"

MODEL_NAME = "mnist_model"

def backward(mnist):

x = tf.placeholder(tf.float32,[None,mnist_forward.INPUT_NODE])

y_ = tf.placeholder(tf.float32,[None,mnist_forward.OUTPUT_NODE])

y = mnist_forward.forward(x,REGULARIZER)

global_step = tf.Variable(0,trainable = False)

# step計(jì)數(shù) 不可訓(xùn)練的參數(shù)

ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logits = y, labels = tf.argmax(y_,1))

cem = tf.reduce_mean(ce)

loss = cem + tf.add_n(tf.get_collection('losses'))

learning_rate = tf.train.exponential_decay(LEARNING_RATE_BASE,global_step,mnist.train.num_examples/BATCH_SIZE,LEARNING_RATE_DECAY,staircase=True)

train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss,global_step = global_step)

ema = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY,global_step)

ema_op = ema.apply(tf.trainable_variables())

# ema.apply()對(duì)括號(hào)內(nèi)參數(shù)求滑動(dòng)平均

# tf.trainable_variables() 將所有可以被訓(xùn)練的參數(shù)匯總為list 也就是[w1 b1 w2 b2]

with tf.control_dependencies([train_step, ema_op]):

train_op = tf.no_op(name='train')

# 該函數(shù)實(shí)現(xiàn)將滑動(dòng)平均和訓(xùn)練過(guò)程同步運(yùn)行。

saver = tf.train.Saver()

with tf.Session() as sess:

init_op = tf.global_variables_initializer()

sess.run(init_op)

for i in range(STEPS):

xs,ys = mnist.train.next_batch(BATCH_SIZE)

_, loss_value, step = sess.run([train_op,loss,global_step],feed_dict={x:xs,y_:ys})

if i%1000 == 0:

print("After %d training steps, loss on training batch is %g." %(step,loss_value))

saver.save(sess,os.path.join(MODEL_SAVE_PATH,MODEL_NAME),global_step=global_step)

if __name__ == '__main__':

mnist = input_data.read_data_sets('./data/',one_hot=True)

backward(mnist)

III 運(yùn)行代碼

在Terminal里面激活tensorflow，運(yùn)行python mnist_backward.py

就可以輸出訓(xùn)練過(guò)程的loss，每1000步打印一次loss。從下圖可以看出，loss逐漸減小。