看這篇文章前強烈建議你看看上一篇python實現梯度下降法：

創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供浠水網站建設、浠水做網站、浠水網站設計、浠水網站制作等企業(yè)網站建設、網頁設計與制作、浠水企業(yè)網站模板建站服務，十多年浠水做網站經驗，不只是建網站，更提供有價值的思路和整體網絡服務。

一、為什么要提出隨機梯度下降算法

注意看梯度下降法權值的更新方式（推導過程在上一篇文章中有）

 也就是說每次更新權值都需要遍歷整個數據集（注意那個求和符號），當數據量小的時候，我們還能夠接受這種算法，一旦數據量過大，那么使用該方法會使得收斂過程極度緩慢，并且當存在多個局部極小值時，無法保證搜索到全局最優(yōu)解。為了解決這樣的問題，引入了梯度下降法的進階形式：隨機梯度下降法。

二、核心思想

對于權值的更新不再通過遍歷全部的數據集，而是選擇其中的一個樣本即可（對于程序員來說你的第一反應一定是：在這里需要一個隨機函數來選擇一個樣本，不是嗎？），一般來說其步長的選擇比梯度下降法的步長要小一點，因為梯度下降法使用的是準確梯度，所以它可以朝著全局最優(yōu)解（當問題為凸問題時）較大幅度的迭代下去，但是隨機梯度法不行，因為它使用的是近似梯度，或者對于全局來說有時候它走的也許根本不是梯度下降的方向，故而它走的比較緩，同樣這樣帶來的好處就是相比于梯度下降法，它不是那么容易陷入到局部最優(yōu)解中去。

三、權值更新方式

(i表示樣本標號下標，j表示樣本維數下標)

四、代碼實現(大體與梯度下降法相同，不同在于while循環(huán)中的內容)

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import axes3d
from matplotlib import style
 
 
#構造數據
def get_data(sample_num=1000):
 """
 擬合函數為
 y = 5*x1 + 7*x2
 :return:
 """
 x1 = np.linspace(0, 9, sample_num)
 x2 = np.linspace(4, 13, sample_num)
 x = np.concatenate(([x1], [x2]), axis=0).T
 y = np.dot(x, np.array([5, 7]).T) 
 return x, y
#梯度下降法
def SGD(samples, y, step_size=2, max_iter_count=1000):
 """
 :param samples: 樣本
 :param y: 結果value
 :param step_size: 每一接迭代的步長
 :param max_iter_count: 大的迭代次數
 :param batch_size: 隨機選取的相對于總樣本的大小
 :return:
 """
 #確定樣本數量以及變量的個數初始化theta值
 
 m, var = samples.shape
 theta = np.zeros(2)
 y = y.flatten()
 #進入循環(huán)內
 loss = 1
 iter_count = 0
 iter_list=[]
 loss_list=[]
 theta1=[]
 theta2=[]
 #當損失精度大于0.01且迭代此時小于大迭代次數時，進行
 while loss > 0.01 and iter_count < max_iter_count:
 loss = 0
 #梯度計算
 theta1.append(theta[0])
 theta2.append(theta[1]) 
 #樣本維數下標
 rand1 = np.random.randint(0,m,1)
 h = np.dot(theta,samples[rand1].T)
 #關鍵點，只需要一個樣本點來更新權值
 for i in range(len(theta)):
 theta[i] =theta[i] - step_size*(1/m)*(h - y[rand1])*samples[rand1,i]
 #計算總體的損失精度，等于各個樣本損失精度之和
 for i in range(m):
 h = np.dot(theta.T, samples[i])
 #每組樣本點損失的精度
 every_loss = (1/(var*m))*np.power((h - y[i]), 2)
 loss = loss + every_loss
 
 print("iter_count: ", iter_count, "the loss:", loss)
 
 iter_list.append(iter_count)
 loss_list.append(loss)
 
 iter_count += 1
 plt.plot(iter_list,loss_list)
 plt.xlabel("iter")
 plt.ylabel("loss")
 plt.show()
 return theta1,theta2,theta,loss_list
 
def painter3D(theta1,theta2,loss):
 style.use('ggplot')
 fig = plt.figure()
 ax1 = fig.add_subplot(111, projection='3d')
 x,y,z = theta1,theta2,loss
 ax1.plot_wireframe(x,y,z, rstride=5, cstride=5)
 ax1.set_xlabel("theta1")
 ax1.set_ylabel("theta2")
 ax1.set_zlabel("loss")
 plt.show()
 
if __name__ == '__main__':
 samples, y = get_data()
 theta1,theta2,theta,loss_list = SGD(samples, y)
 print(theta) # 會很接近[5, 7]
 
 painter3D(theta1,theta2,loss_list)

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

新聞名稱：python實現隨機梯度下降法-創(chuàng)新互聯(lián)
文章路徑：http://weahome.cn/article/dshpej.html