神經(jīng)網(wǎng)絡(luò)（NN），也被稱為人工神經(jīng)網(wǎng)絡(luò)（ANN），是機(jī)器學(xué)習(xí)領(lǐng)域中學(xué)習(xí)算法的子集，大體上借鑒了生物神經(jīng)網(wǎng)絡(luò)的概念。目前，神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域應(yīng)用廣泛。德國(guó)資深機(jī)器學(xué)習(xí)專家Andrey Bulezyuk說到，“神經(jīng)網(wǎng)絡(luò)正在徹底改變機(jī)器學(xué)習(xí)，因?yàn)樗鼈兡軌蛴行У啬M各種學(xué)科和行業(yè)的復(fù)雜抽象，且無需太多人工參與?！?br/>大體上，人工神經(jīng)網(wǎng)絡(luò)基本包含以下組件：

• 接收數(shù)據(jù)并傳遞數(shù)據(jù)的輸入層（input layer）；

• 隱藏層（hidden layer）；

• 輸出層（output layer）；

• 層與層之間的權(quán)重（weight）；

• 每個(gè)隱藏層使用的激活函數(shù)（activation function）；

       在本文教程中，使用的是簡(jiǎn)單的Sigmoid激活函數(shù)，但注意一點(diǎn)，在深層神經(jīng)網(wǎng)絡(luò)模型中， sigmoid激活函數(shù)一般不作為首選，原因是其易發(fā)生梯度彌散現(xiàn)象。
       此外，人工神經(jīng)網(wǎng)絡(luò)有幾種不同類型的神經(jīng)網(wǎng)絡(luò)，比如前饋神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)及遞歸神經(jīng)網(wǎng)絡(luò)等。本文將以簡(jiǎn)單的前饋或感知神經(jīng)網(wǎng)絡(luò)為例，這種類型的人工神經(jīng)網(wǎng)絡(luò)是直接從前到后傳遞數(shù)據(jù)的，簡(jiǎn)稱前向傳播過程。
       而訓(xùn)練前饋神經(jīng)元通常需要反向傳播算法，這就需要為網(wǎng)絡(luò)提供相應(yīng)的輸入和輸出集。當(dāng)輸入數(shù)據(jù)被傳輸?shù)缴窠?jīng)元時(shí)，它會(huì)經(jīng)過相應(yīng)的處理，并將產(chǎn)生的輸出傳輸給下一層。
下圖簡(jiǎn)單展示了一個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：

問題

       下表顯示了我們將解決的問題：

創(chuàng)建神經(jīng)網(wǎng)絡(luò)類|NeuralNetwork Class

       我們將在Python中創(chuàng)建一個(gè)NeuralNetwork類來訓(xùn)練神經(jīng)元以提供準(zhǔn)確的預(yù)測(cè)，該類還包含其他輔助函數(shù)。我們不會(huì)將神經(jīng)網(wǎng)絡(luò)庫用于創(chuàng)建這個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)示例中，但會(huì)導(dǎo)入基本的Numpy庫來協(xié)助計(jì)算。
       Numpy庫是處理數(shù)據(jù)的一種基本庫，它具有以下四種重要的計(jì)算方法：

• EXP——用于產(chǎn)生所述自然指數(shù)；

• array——用于生成矩陣；

• dot——用于矩陣相乘；

• random——用于生成隨機(jī)數(shù);

應(yīng)用Sigmoid函數(shù)

       我們將使用Sigmoid函數(shù)，它繪制出一個(gè)“S”形曲線，將其作為本文創(chuàng)建的神經(jīng)網(wǎng)絡(luò)的激活函數(shù)。

訓(xùn)練模型

       訓(xùn)練模型意味著我們將教導(dǎo)神經(jīng)網(wǎng)絡(luò)進(jìn)行準(zhǔn)確預(yù)測(cè)的階段。每個(gè)輸入都有一個(gè)權(quán)重（weights）——正或負(fù)的，這意味著具有大值正權(quán)重或大值負(fù)權(quán)重的輸入將多所得到的輸出有更大地影響。
       注意，模型訓(xùn)練最初時(shí)，每個(gè)權(quán)重的初始化都是隨機(jī)數(shù)。
       以下是本文構(gòu)建的神經(jīng)網(wǎng)絡(luò)示例問題中訓(xùn)練過程：

• 1.從訓(xùn)練數(shù)據(jù)集中獲取輸入，根據(jù)它們的權(quán)重進(jìn)行一些調(diào)整，并通過計(jì)算神經(jīng)網(wǎng)絡(luò)輸出的方法來一層一層的傳輸；

• 2.計(jì)算反向傳播的錯(cuò)誤率。在這種情況下，它是神經(jīng)元預(yù)測(cè)得到的輸出與訓(xùn)練數(shù)據(jù)集的預(yù)期輸出之間的誤差；

• 3.根據(jù)得到的誤差范圍，使用誤差加權(quán)導(dǎo)數(shù)公式進(jìn)行一些小的權(quán)重調(diào)整；

• 4.將此過程重復(fù)15,000次，在每次迭代過程中，同時(shí)處理整個(gè)訓(xùn)練集；

       在這里，我們使用“.T”函數(shù)對(duì)矩陣求偏置。因此，數(shù)字將以這種方式存儲(chǔ)：

封裝

       最后，初始化NeuralNetwork類后并運(yùn)行整個(gè)程序，以下是如何在Python項(xiàng)目中創(chuàng)建神經(jīng)網(wǎng)絡(luò)的完整代碼：

import numpy as npclass NeuralNetwork():
    
    def __init__(self):
        # 設(shè)置隨機(jī)數(shù)種子
        np.random.seed(1)        
        # 將權(quán)重轉(zhuǎn)化為一個(gè)3x1的矩陣，其值分布為-1~1，并且均值為0
        self.synaptic_weights = 2 * np.random.random((3, 1)) - 1

    def sigmoid(self, x):
        # 應(yīng)用sigmoid激活函數(shù)
        return 1 / (1 + np.exp(-x))    def sigmoid_derivative(self, x):
        #計(jì)算Sigmoid函數(shù)的偏導(dǎo)數(shù)
        return x * (1 - x)    def train(self, training_inputs, training_outputs, training_iterations):
        
        # 訓(xùn)練模型
        for iteration in range(training_iterations):            # 得到輸出
            output = self.think(training_inputs)            # 計(jì)算誤差
            error = training_outputs - output            
            # 微調(diào)權(quán)重
            adjustments = np.dot(training_inputs.T, error * self.sigmoid_derivative(output))

            self.synaptic_weights += adjustments    def think(self, inputs):
        # 輸入通過網(wǎng)絡(luò)得到輸出   
        # 轉(zhuǎn)化為浮點(diǎn)型數(shù)據(jù)類型
        
        inputs = inputs.astype(float)
        output = self.sigmoid(np.dot(inputs, self.synaptic_weights))        return outputif __name__ == "__main__":    # 初始化神經(jīng)類
    neural_network = NeuralNetwork()

    print("Beginning Randomly Generated Weights: ")
    print(neural_network.synaptic_weights)    #訓(xùn)練數(shù)據(jù)
    training_inputs = np.array([[0,0,1],
                                [1,1,1],
                                [1,0,1],
                                [0,1,1]])

    training_outputs = np.array([[0,1,1,0]]).T    # 開始訓(xùn)練
    neural_network.train(training_inputs, training_outputs, 15000)

    print("Ending Weights After Training: ")
    print(neural_network.synaptic_weights)

    user_input_one = str(input("User Input One: "))
    user_input_two = str(input("User Input Two: "))
    user_input_three = str(input("User Input Three: "))
    
    print("Considering New Situation: ", user_input_one, user_input_two, user_input_three)
    print("New Output data: ")
    print(neural_network.think(np.array([user_input_one, user_input_two, user_input_three])))
    print("Wow, we did it!")

       以下是運(yùn)行代碼后產(chǎn)生的輸出：

       以上是我們?cè)O(shè)法創(chuàng)建的一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)。首先神經(jīng)網(wǎng)絡(luò)開始為自己分配一些隨機(jī)權(quán)，此后，它使用訓(xùn)練樣例訓(xùn)練自身。
       因此，如果出現(xiàn)新的樣本輸入[1,0,0]，則其輸出值為0.9999584。而期望的的正確答案是1，可以說二者是非常接近了，考慮到Sigmoid函數(shù)是非線性函數(shù)，這點(diǎn)誤差是可以接受的。