從零開始用Python構(gòu)建神經(jīng)網(wǎng)絡(luò)
成都創(chuàng)新互聯(lián)公司專注于網(wǎng)站建設(shè)|成都網(wǎng)站維護|優(yōu)化|托管以及網(wǎng)絡(luò)推廣，積累了大量的網(wǎng)站設(shè)計與制作經(jīng)驗，為許多企業(yè)提供了網(wǎng)站定制設(shè)計服務(wù)，案例作品覆蓋成都墻體彩繪等行業(yè)。能根據(jù)企業(yè)所處的行業(yè)與銷售的產(chǎn)品，結(jié)合品牌形象的塑造，量身策劃品質(zhì)網(wǎng)站。
動機：為了更加深入的理解深度學(xué)習(xí)，我們將使用 python 語言從頭搭建一個神經(jīng)網(wǎng)絡(luò)，而不是使用像 Tensorflow 那樣的封裝好的框架。我認為理解神經(jīng)網(wǎng)絡(luò)的內(nèi)部工作原理，對數(shù)據(jù)科學(xué)家來說至關(guān)重要。
這篇文章的內(nèi)容是我的所學(xué)，希望也能對你有所幫助。
神經(jīng)網(wǎng)絡(luò)是什么?
介紹神經(jīng)網(wǎng)絡(luò)的文章大多數(shù)都會將它和大腦進行類比。如果你沒有深入研究過大腦與神經(jīng)網(wǎng)絡(luò)的類比，那么將神經(jīng)網(wǎng)絡(luò)解釋為一種將給定輸入映射為期望輸出的數(shù)學(xué)關(guān)系會更容易理解。
神經(jīng)網(wǎng)絡(luò)包括以下組成部分
? 一個輸入層，x
? 任意數(shù)量的隱藏層
? 一個輸出層，?
? 每層之間有一組權(quán)值和偏置，W and b
? 為隱藏層選擇一種激活函數(shù)，σ。在教程中我們使用 Sigmoid 激活函數(shù)
下圖展示了 2 層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)(注意：我們在計算網(wǎng)絡(luò)層數(shù)時通常排除輸入層)
2 層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
用 Python 可以很容易的構(gòu)建神經(jīng)網(wǎng)絡(luò)類
訓(xùn)練神經(jīng)網(wǎng)絡(luò)
這個網(wǎng)絡(luò)的輸出 ? 為：
你可能會注意到，在上面的等式中，輸出 ? 是 W 和 b 函數(shù)。
因此 W 和 b 的值影響預(yù)測的準確率. 所以根據(jù)輸入數(shù)據(jù)對 W 和 b 調(diào)優(yōu)的過程就被成為訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
每步訓(xùn)練迭代包含以下兩個部分:
? 計算預(yù)測結(jié)果 ?，這一步稱為前向傳播
? 更新 W 和 b,，這一步成為反向傳播
下面的順序圖展示了這個過程：
前向傳播
正如我們在上圖中看到的，前向傳播只是簡單的計算。對于一個基本的 2 層網(wǎng)絡(luò)來說，它的輸出是這樣的：
我們在 NeuralNetwork 類中增加一個計算前向傳播的函數(shù)。為了簡單起見我們假設(shè)偏置 b 為0：
但是我們還需要一個方法來評估預(yù)測結(jié)果的好壞(即預(yù)測值和真實值的誤差)。這就要用到損失函數(shù)。
損失函數(shù)
常用的損失函數(shù)有很多種，根據(jù)模型的需求來選擇。在本教程中，我們使用誤差平方和作為損失函數(shù)。
誤差平方和是求每個預(yù)測值和真實值之間的誤差再求和，這個誤差是他們的差值求平方以便我們觀察誤差的絕對值。
訓(xùn)練的目標是找到一組 W 和 b，使得損失函數(shù)最好小，也即預(yù)測值和真實值之間的距離最小。
反向傳播
我們已經(jīng)度量出了預(yù)測的誤差(損失)，現(xiàn)在需要找到一種方法來傳播誤差，并以此更新權(quán)值和偏置。
為了知道如何適當?shù)恼{(diào)整權(quán)值和偏置，我們需要知道損失函數(shù)對權(quán)值 W 和偏置 b 的導(dǎo)數(shù)。
回想微積分中的概念，函數(shù)的導(dǎo)數(shù)就是函數(shù)的斜率。
梯度下降法
如果我們已經(jīng)求出了導(dǎo)數(shù)，我們就可以通過增加或減少導(dǎo)數(shù)值來更新權(quán)值 W 和偏置 b(參考上圖)。這種方式被稱為梯度下降法。
但是我們不能直接計算損失函數(shù)對權(quán)值和偏置的導(dǎo)數(shù)，因為在損失函數(shù)的等式中并沒有顯式的包含他們。因此，我們需要運用鏈式求導(dǎo)發(fā)在來幫助計算導(dǎo)數(shù)。
鏈式法則用于計算損失函數(shù)對 W 和 b 的導(dǎo)數(shù)。注意，為了簡單起見。我們只展示了假設(shè)網(wǎng)絡(luò)只有 1 層的偏導(dǎo)數(shù)。
這雖然很簡陋，但是我們依然能得到想要的結(jié)果—損失函數(shù)對權(quán)值 W 的導(dǎo)數(shù)(斜率)，因此我們可以相應(yīng)的調(diào)整權(quán)值。
現(xiàn)在我們將反向傳播算法的函數(shù)添加到 Python 代碼中
為了更深入的理解微積分原理和反向傳播中的鏈式求導(dǎo)法則，我強烈推薦 3Blue1Brown 的如下教程：
Youtube：
整合并完成一個實例
既然我們已經(jīng)有了包括前向傳播和反向傳播的完整 Python 代碼，那么就將其應(yīng)用到一個例子上看看它是如何工作的吧。
神經(jīng)網(wǎng)絡(luò)可以通過學(xué)習(xí)得到函數(shù)的權(quán)重。而我們僅靠觀察是不太可能得到函數(shù)的權(quán)重的。
讓我們訓(xùn)練神經(jīng)網(wǎng)絡(luò)進行 1500 次迭代，看看會發(fā)生什么。 注意觀察下面每次迭代的損失函數(shù)，我們可以清楚地看到損失函數(shù)單調(diào)遞減到最小值。這與我們之前介紹的梯度下降法一致。
讓我們看看經(jīng)過 1500 次迭代后的神經(jīng)網(wǎng)絡(luò)的最終預(yù)測結(jié)果：
經(jīng)過 1500 次迭代訓(xùn)練后的預(yù)測結(jié)果
我們成功了!我們應(yīng)用前向和方向傳播算法成功的訓(xùn)練了神經(jīng)網(wǎng)絡(luò)并且預(yù)測結(jié)果收斂于真實值。
注意預(yù)測值和真實值之間存在細微的誤差是允許的。這樣可以防止模型過擬合并且使得神經(jīng)網(wǎng)絡(luò)對于未知數(shù)據(jù)有著更強的泛化能力。
下一步是什么?
幸運的是我們的學(xué)習(xí)之旅還沒有結(jié)束，仍然有很多關(guān)于神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的內(nèi)容需要學(xué)習(xí)。例如：
? 除了 Sigmoid 以外，還可以用哪些激活函數(shù)
? 在訓(xùn)練網(wǎng)絡(luò)的時候應(yīng)用學(xué)習(xí)率
? 在面對圖像分類任務(wù)的時候使用卷積神經(jīng)網(wǎng)絡(luò)
我很快會寫更多關(guān)于這個主題的內(nèi)容，敬請期待!
最后的想法
我自己也從零開始寫了很多神經(jīng)網(wǎng)絡(luò)的代碼
雖然可以使用諸如 Tensorflow 和 Keras 這樣的深度學(xué)習(xí)框架方便的搭建深層網(wǎng)絡(luò)而不需要完全理解其內(nèi)部工作原理。但是我覺得對于有追求的數(shù)據(jù)科學(xué)家來說，理解內(nèi)部原理是非常有益的。
這種練習(xí)對我自己來說已成成為重要的時間投入，希望也能對你有所幫助
用keras框架較為方便
首先安裝anaconda，然后通過pip安裝keras
以下轉(zhuǎn)自wphh的博客。
#coding:utf-8
'''
GPU?run?command:
THEANO_FLAGS=mode=FAST_RUN,device=gpu,floatX=float32?python?cnn.py
CPU?run?command:
python?cnn.py
2016.06.06更新：
這份代碼是keras開發(fā)初期寫的，當時keras還沒有現(xiàn)在這么流行，文檔也還沒那么豐富，所以我當時寫了一些簡單的教程。
現(xiàn)在keras的API也發(fā)生了一些的變化，建議及推薦直接上keras.io看更加詳細的教程。
'''
#導(dǎo)入各種用到的模塊組件
from?__future__?import?absolute_import
from?__future__?import?print_function
from?keras.preprocessing.image?import?ImageDataGenerator
from?keras.models?import?Sequential
from?keras.layers.core?import?Dense,?Dropout,?Activation,?Flatten
from?keras.layers.advanced_activations?import?PReLU
from?keras.layers.convolutional?import?Convolution2D,?MaxPooling2D
from?keras.optimizers?import?SGD,?Adadelta,?Adagrad
from?keras.utils?import?np_utils,?generic_utils
from?six.moves?import?range
from?data?import?load_data
import?random
import?numpy?as?np
np.random.seed(1024)??#?for?reproducibility
#加載數(shù)據(jù)
data,?label?=?load_data()
#打亂數(shù)據(jù)
index?=?[i?for?i?in?range(len(data))]
random.shuffle(index)
data?=?data[index]
label?=?label[index]
print(data.shape[0],?'?samples')
#label為0~9共10個類別，keras要求格式為binary?class?matrices,轉(zhuǎn)化一下，直接調(diào)用keras提供的這個函數(shù)
label?=?np_utils.to_categorical(label,?10)
###############
#開始建立CNN模型
###############
#生成一個model
model?=?Sequential()
#第一個卷積層，4個卷積核，每個卷積核大小5*5。1表示輸入的圖片的通道,灰度圖為1通道。
#border_mode可以是valid或者full，具體看這里說明：
#激活函數(shù)用tanh
#你還可以在model.add(Activation('tanh'))后加上dropout的技巧:?model.add(Dropout(0.5))
model.add(Convolution2D(4,?5,?5,?border_mode='valid',input_shape=(1,28,28)))?
model.add(Activation('tanh'))
#第二個卷積層，8個卷積核，每個卷積核大小3*3。4表示輸入的特征圖個數(shù)，等于上一層的卷積核個數(shù)
#激活函數(shù)用tanh
#采用maxpooling，poolsize為(2,2)
model.add(Convolution2D(8,?3,?3,?border_mode='valid'))
model.add(Activation('tanh'))
model.add(MaxPooling2D(pool_size=(2,?2)))
#第三個卷積層，16個卷積核，每個卷積核大小3*3
#激活函數(shù)用tanh
#采用maxpooling，poolsize為(2,2)
model.add(Convolution2D(16,?3,?3,?border_mode='valid'))?
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2,?2)))
#全連接層，先將前一層輸出的二維特征圖flatten為一維的。
#Dense就是隱藏層。16就是上一層輸出的特征圖個數(shù)。4是根據(jù)每個卷積層計算出來的：(28-5+1)得到24,(24-3+1)/2得到11，(11-3+1)/2得到4
#全連接有128個神經(jīng)元節(jié)點,初始化方式為normal
model.add(Flatten())
model.add(Dense(128,?init='normal'))
model.add(Activation('tanh'))
#Softmax分類，輸出是10類別
model.add(Dense(10,?init='normal'))
model.add(Activation('softmax'))
#############
#開始訓(xùn)練模型
##############
#使用SGD?+?momentum
#model.compile里的參數(shù)loss就是損失函數(shù)(目標函數(shù))
sgd?=?SGD(lr=0.05,?decay=1e-6,?momentum=0.9,?nesterov=True)
model.compile(loss='categorical_crossentropy',?optimizer=sgd,metrics=["accuracy"])
#調(diào)用fit方法，就是一個訓(xùn)練過程.?訓(xùn)練的epoch數(shù)設(shè)為10，batch_size為100．
#數(shù)據(jù)經(jīng)過隨機打亂shuffle=True。verbose=1，訓(xùn)練過程中輸出的信息，0、1、2三種方式都可以，無關(guān)緊要。show_accuracy=True，訓(xùn)練時每一個epoch都輸出accuracy。
#validation_split=0.2，將20%的數(shù)據(jù)作為驗證集。
model.fit(data,?label,?batch_size=100,?nb_epoch=10,shuffle=True,verbose=1,validation_split=0.2)
"""
#使用data?augmentation的方法
#一些參數(shù)和調(diào)用的方法，請看文檔
datagen?=?ImageDataGenerator(
featurewise_center=True,?#?set?input?mean?to?0?over?the?dataset
samplewise_center=False,?#?set?each?sample?mean?to?0
featurewise_std_normalization=True,?#?divide?inputs?by?std?of?the?dataset
samplewise_std_normalization=False,?#?divide?each?input?by?its?std
zca_whitening=False,?#?apply?ZCA?whitening
rotation_range=20,?#?randomly?rotate?images?in?the?range?(degrees,?0?to?180)
width_shift_range=0.2,?#?randomly?shift?images?horizontally?(fraction?of?total?width)
height_shift_range=0.2,?#?randomly?shift?images?vertically?(fraction?of?total?height)
horizontal_flip=True,?#?randomly?flip?images
vertical_flip=False)?#?randomly?flip?images
#?compute?quantities?required?for?featurewise?normalization?
#?(std,?mean,?and?principal?components?if?ZCA?whitening?is?applied)
datagen.fit(data)
for?e?in?range(nb_epoch):
print('-'*40)
print('Epoch',?e)
print('-'*40)
print("Training...")
#?batch?train?with?realtime?data?augmentation
progbar?=?generic_utils.Progbar(data.shape[0])
for?X_batch,?Y_batch?in?datagen.flow(data,?label):
loss,accuracy?=?model.train(X_batch,?Y_batch,accuracy=True)
progbar.add(X_batch.shape[0],?values=[("train?loss",?loss),("accuracy:",?accuracy)]?)
"""
python入門教程如下：
1、編程環(huán)境的安裝與使用。比如Python的學(xué)習(xí)一般推薦軟件自帶的IDLE，簡單好用。
2、掌握輸入、輸入語句的使用。輸入語句可以讓計算機知道你通過鍵盤輸入了什么，輸出語句可以讓你知道計算機執(zhí)行的結(jié)果，其中“”里面的內(nèi)容是原樣輸出，多個輸出項之間用，隔開。
3、掌握運算（包含計算、邏輯）表達式使用。這個主要是用+、-、*、/、（）、、、=、=等符號連接起來的表示計算或者比較的式子，讓計算機能做計算機或者判斷，一個是計算表達式，一個是所謂的邏輯表達式。
4、特別要掌握賦值表達式的使用，這個主要是等于號的理解。在計算機編程語言里，等于號一般不表示相等，而是表示賦值，也就是將等號右邊的內(nèi)容記入左邊的名字里。
5、理解并熟練使用變量，變量的字面意思就是會變化的量。其實質(zhì)的作用記憶信息，通過給要記憶的內(nèi)容取個名字，然后通過這個名字就可以找到記憶的內(nèi)容，有點類似于數(shù)學(xué)中的字母表示數(shù)。
6、選擇結(jié)構(gòu)，這是讓計算機具有一定的選擇、判斷能力的基礎(chǔ)。比如我們常見的登錄，VIP就要用到選擇結(jié)構(gòu)，因為我們把各種情況都列舉在程序里了，程序才會有各種變化。
7、循環(huán)結(jié)構(gòu)，這是讓計算機具有重復(fù)的能力。前提是事件要具有一定的規(guī)律性，比如1，3，5，7，9，如果沒有規(guī)律，也可能通過列表等方法構(gòu)造規(guī)律。
平滑函數(shù)。
交叉熵損失函數(shù)，也稱為對數(shù)損失或者logistic損失。當模型產(chǎn)生了預(yù)測值之后，將對類別的預(yù)測概率與真實值（由0或1組成）進行不比較，計算所產(chǎn)生的損失，然后基于此損失設(shè)置對數(shù)形式的懲罰項。
在神經(jīng)網(wǎng)絡(luò)中，所使用的Softmax函數(shù)是連續(xù)可導(dǎo)函數(shù)，這使得可以計算出損失函數(shù)相對于神經(jīng)網(wǎng)絡(luò)中每個權(quán)重的導(dǎo)數(shù)（在《機器學(xué)習(xí)數(shù)學(xué)基礎(chǔ)》中有對此的完整推導(dǎo)過程和案例，這樣就可以相應(yīng)地調(diào)整模型的權(quán)重以最小化損失函數(shù)。
擴展資料：
注意事項：
當預(yù)測類別為二分類時，交叉熵損失函數(shù)的計算公式如下圖，其中y是真實類別（值為0或1），p是預(yù)測類別的概率（值為0~1之間的小數(shù)）。
計算二分類的交叉熵損失函數(shù)的python代碼如下圖，其中esp是一個極小值，第五行代碼clip的目的是保證預(yù)測概率的值在0~1之間，輸出的損失值數(shù)組求和后，就是損失函數(shù)最后的返回值。
參考資料來源：百度百科-交叉熵
參考資料來源：百度百科-損失函數(shù)
python入門教程如下：
準備材料：windows電腦、python
1、這里簡單告用python軟件編寫的一個關(guān)于貨物售價折扣方面的一個計算程序，首先打開python軟件。
2、進入python后，會出現(xiàn)如圖所示界面，按照圖中箭頭指示，先選擇File選項，然后在下拉菜單中選擇New file選項。
3、選擇完畢后，會出現(xiàn)一個新的界面，如圖箭頭和紅色框指示。
4、進入這個新的界面，在里面輸入自己想編輯的程序，如圖所示是編寫的一個關(guān)于貨物售價折扣方面的一個簡單的計算程序。
5、程序輸入完畢后，按照圖中箭頭和紅色框指示，先選擇Run選項，然后在下拉菜單中選擇Run Module（注：除此方法外還可以點擊鍵盤F5）。
6、此時會在原界面出現(xiàn)如圖所示的字樣，這是因為編寫程序編輯好的，此時可以輸入一個數(shù)字，然后回車，又會讓輸入一個折扣，輸入完即可得出最后售價結(jié)果。
7、如圖所示，這里輸入的原價是10，折扣是0.2，故此系統(tǒng)根據(jù)編寫的程序計算除了打折后的價格為2。
Python是世界上功能最多，功能最強大的編程語言之一。通過Python，可以編寫自己的應(yīng)用程序，創(chuàng)建 游戲 ，設(shè)計算法，甚至編程機器人。而且Python的熱度現(xiàn)在一直高居不下，比如，完成同一個任務(wù)，C語言要寫1000行代碼，Java只需要寫100行，而Python可能只要20行。
清華北大教授萬贊Python全集視頻教程，這就是你需要的
如果你想選擇一種語言來入門編程，那么Python絕對是首選！其非常接近自然語言，精簡了很多不必要的分號和括號，非常容易閱讀理解。編程簡單直接，更適合初學(xué)編程者，讓其專注于編程邏輯，而不是困惑于晦澀的語法細節(jié)上，比起JAVA、C#和C/C++這些編程語言相對容易很多。
因此，即使是非計算機專業(yè)或者沒有基礎(chǔ)的小白，也能分分鐘入門。
但是呢，前提是一定要堅持學(xué)習(xí)?。?！
階段一：Python基礎(chǔ)知識和高級特性
階段二：Linux基礎(chǔ)
階段三：數(shù)據(jù)庫原理和sql優(yōu)化
階段四：前端web開發(fā)
階段五：Python Web后端開發(fā)
階段六：爬蟲和數(shù)據(jù)分析
階段七：Python人工智能
Python基礎(chǔ)語法的掌握
清華北大教授萬贊Python全集視頻教程，這就是你需要的
1. Python基礎(chǔ)語法的掌握是必備技能，認識到了Python語言的優(yōu)雅，即使你之前用過其他開發(fā)語言，也會轉(zhuǎn)到Python的行列中
2. 掌握字符串的解析
3. 未來你會意識到各種各樣的程序直接就是把字符串傳來傳去，包括海量日志分析，日志即字符串，所以字符串操作就是未來做項目的基礎(chǔ)對文件的操作
4. Linux中一切皆文件，對文件的操作掌握了那么你會發(fā)現(xiàn)在此時你有能力將之前的Linux中的Shell腳本改寫成Python腳本，至于為啥要改寫？腳本更加簡潔、易讀嘛！
5. 掌握面向?qū)ο蟮乃枷?/p>
6. 面向?qū)ο笏枷雽τ陂_發(fā)程序員來說，不管未來你選擇做哪一方面，使用什么語言開發(fā)，都是必須要掌握的，對于一個開發(fā)企業(yè)級的持續(xù)可擴展的項目至關(guān)重要
7. 掌握常見設(shè)計模式和排序算法
8. 設(shè)計模式的掌握可以讓你的項目變得更好維護，是一種經(jīng)驗的總結(jié)，排序算法很多種，項目經(jīng)常會有取TopN的需求，所以常見設(shè)計模式和算法排序面試官們很喜歡問，也是為后面的項目打好一個扎實的基礎(chǔ)
下面是北京大學(xué)畢業(yè)的高琪老師親手打造的python學(xué)習(xí)路線和視頻。共分為7大階段.
現(xiàn)在免費分享給大家哦！獲取在文末?。。?/p>
清華北大教授萬贊Python全集視頻教程，這就是你需要的
清華北大教授萬贊Python全集視頻教程，這就是你需要的
第一階段
清華北大教授萬贊Python全集視頻教程，這就是你需要的
python開發(fā)基礎(chǔ)和核心特性
1.變量及運算符
2.分支及循環(huán)
3.循環(huán)及字符串
4.列表及嵌套列表
5.字典及項目練習(xí)
6.函數(shù)的使用
7.遞歸及文件處理
8.文件
9.面向?qū)ο?/p>
10.設(shè)計模式及異常處理
11.異常及模塊的使用
12.坦克大戰(zhàn)
13.核心編程
14.高級特性
15.內(nèi)存管理
第二階段
清華北大教授萬贊Python全集視頻教程，這就是你需要的
數(shù)據(jù)庫和linux基礎(chǔ)
1.并發(fā)編程
2.網(wǎng)絡(luò)通信
3.MySQL
4.Linux
5.正則表達式
第三階段
清華北大教授萬贊Python全集視頻教程，這就是你需要的
web前端開發(fā)基礎(chǔ)
1.html基本標簽
2.css樣式
3.css浮動和定位
4.js基礎(chǔ)
5.js對象和函數(shù)
6.js定時器和DOM
7.js事件響應(yīng)
8.使用jquery
9.jquery動畫特效
10.Ajax異步網(wǎng)絡(luò)請求
第四階段
清華北大教授萬贊Python全集視頻教程，這就是你需要的
Python Web框架階段
1.Django-Git版本控制
2.Django-博客項目
3.Django-商城項目
4.Django模型層
5.Django入門
6.Django模板層
7.Django視圖層
8.Tornado框架
第五階段
清華北大教授萬贊Python全集視頻教程，這就是你需要的
Python 爬蟲實戰(zhàn)開發(fā)
1.Python爬蟲基礎(chǔ)
2.Python爬蟲Scrapy框架
以上這python自學(xué)教程我已經(jīng)為大家打包準備好了，希望對正在學(xué)習(xí)的你有所幫助！
重慶分公司
重慶分公司
