真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

python畫損失函數(shù)圖的簡單介紹

使用Python畫出一個三維的函數(shù)圖像,數(shù)據(jù)來自于一個Excel表格?

可以的。 python利用matplotlib這個庫,先定義一個空圖層,然后聲明x,y,z的值,x,y,z賦相應的列的值,最后建立標簽,標題即可。最后,excel安裝運行python的插件,運行python。

為稱多等地區(qū)用戶提供了全套網(wǎng)頁設計制作服務,及稱多網(wǎng)站建設行業(yè)解決方案。主營業(yè)務為成都做網(wǎng)站、網(wǎng)站設計、外貿營銷網(wǎng)站建設、稱多網(wǎng)站設計,以傳統(tǒng)方式定制建設網(wǎng)站,并提供域名空間備案等一條龍服務,秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求,就會得到認可,從而選擇與我們長期合作。這樣,我們也可以走得更遠!

交叉熵損失函數(shù)是什么?

平滑函數(shù)。

交叉熵損失函數(shù),也稱為對數(shù)損失或者logistic損失。當模型產(chǎn)生了預測值之后,將對類別的預測概率與真實值(由0或1組成)進行不比較,計算所產(chǎn)生的損失,然后基于此損失設置對數(shù)形式的懲罰項。

在神經(jīng)網(wǎng)絡中,所使用的Softmax函數(shù)是連續(xù)可導函數(shù),這使得可以計算出損失函數(shù)相對于神經(jīng)網(wǎng)絡中每個權重的導數(shù)(在《機器學習數(shù)學基礎》中有對此的完整推導過程和案例,這樣就可以相應地調整模型的權重以最小化損失函數(shù)。

擴展資料:

注意事項:

當預測類別為二分類時,交叉熵損失函數(shù)的計算公式如下圖,其中y是真實類別(值為0或1),p是預測類別的概率(值為0~1之間的小數(shù))。

計算二分類的交叉熵損失函數(shù)的python代碼如下圖,其中esp是一個極小值,第五行代碼clip的目的是保證預測概率的值在0~1之間,輸出的損失值數(shù)組求和后,就是損失函數(shù)最后的返回值。

參考資料來源:百度百科-交叉熵

參考資料來源:百度百科-損失函數(shù)

正則化項L1和L2的直觀理解及L1不可導處理

正則化(Regularization)

機器學習中幾乎都可以看到損失函數(shù)后面會添加一個額外項,常用的額外項一般有兩種,一般英文稱作 ?1-norm 和 ?2-norm ,中文稱作 L1正則化 和 L2正則化 ,或者 L1范數(shù) 和 L2范數(shù) 。

L1正則化和L2正則化可以看做是損失函數(shù)的懲罰項。所謂『懲罰』是指對損失函數(shù)中的某些參數(shù)做一些限制。對于線性回歸模型,使用L1正則化的模型建叫做Lasso回歸,使用L2正則化的模型叫做Ridge回歸(嶺回歸)。下圖是Python中Lasso回歸的損失函數(shù),式中加號后面一項α||w||1即為L1正則化項。

下圖是Python中Ridge回歸的損失函數(shù),式中加號后面一項α||w||22即為L2正則化項。

一般回歸分析中回歸w表示特征的系數(shù),從上式可以看到正則化項是對系數(shù)做了處理(限制)。 L1正則化和L2正則化的說明如下:

L1正則化是指權值向量w中各個元素的 絕對值之和 ,通常表示為||w||1

L2正則化是指權值向量w中各個元素的 平方和然后再求平方根 (可以看到Ridge回歸的L2正則化項有平方符號),通常表示為||w||2

一般都會在正則化項之前添加一個系數(shù),Python中用α表示,一些文章也用λ表示。這個系數(shù)需要用戶指定。

那添加L1和L2正則化有什么用? 下面是L1正則化和L2正則化的作用 ,這些表述可以在很多文章中找到。

L1正則化可以產(chǎn)生稀疏權值矩陣,即產(chǎn)生一個稀疏模型,可以用于特征選擇

L2正則化可以防止模型過擬合(overfitting);一定程度上,L1也可以防止過擬合

稀疏模型與特征選擇

上面提到L1正則化有助于生成一個稀疏權值矩陣,進而可以用于特征選擇。為什么要生成一個稀疏矩陣?

稀疏矩陣指的是很多元素為0,只有少數(shù)元素是非零值的矩陣,即得到的線性回歸模型的大部分系數(shù)都是0.

通常機器學習中特征數(shù)量很多,例如文本處理時,如果將一個詞組(term)作為一個特征,那么特征數(shù)量會達到上萬個(bigram)。在預測或分類時,那么多特征顯然難以選擇,但是如果代入這些特征得到的模型是一個稀疏模型,表示只有少數(shù)特征對這個模型有貢獻,絕大部分特征是沒有貢獻的,或者貢獻微小(因為它們前面的系數(shù)是0或者是很小的值,即使去掉對模型也沒有什么影響),此時我們就可以只關注系數(shù)是非零值的特征。這就是稀疏模型與特征選擇的關系。

L1和L2正則化的直觀理解

這部分內容將解釋 為什么L1正則化可以產(chǎn)生稀疏模型(L1是怎么讓系數(shù)等于零的) ,以及 為什么L2正則化可以防止過擬合 。

L1正則化和特征選擇

假設有如下帶L1正則化的損失函數(shù):

J=J0+α∑w|w|(1)

其中J0是原始的損失函數(shù),加號后面的一項是L1正則化項,α是正則化系數(shù)。注意到L1正則化是權值的 絕對值之和 ,J是帶有絕對值符號的函數(shù),因此J是不完全可微的。機器學習的任務就是要通過一些方法(比如梯度下降)求出損失函數(shù)的最小值。當我們在原始損失函數(shù)J0后添加L1正則化項時,相當于對J0做了一個約束。令L=α∑w|w|,則J=J0+L,此時我們的任務變成 在L約束下求出J0取最小值的解 ??紤]二維的情況,即只有兩個權值w1和w2,此時L=|w1|+|w2|對于梯度下降法,求解J0的過程可以畫出等值線,同時L1正則化的函數(shù)L也可以在w1w2的二維平面上畫出來。如下圖:

圖1? L1正則化

圖中等值線是J0的等值線,黑色方形是L函數(shù)的圖形。在圖中,當J0等值線與L圖形首次相交的地方就是最優(yōu)解。上圖中J0與L在L的一個頂點處相交,這個頂點就是最優(yōu)解。注意到這個頂點的值是(w1,w2)=(0,w)。可以直觀想象,因為L函數(shù)有很多『突出的角』(二維情況下四個,多維情況下更多),J0與這些角接觸的機率會遠大于與L其它部位接觸的機率,而在這些角上,會有很多權值等于0,這就是為什么L1正則化可以產(chǎn)生稀疏模型,進而可以用于特征選擇。

而正則化前面的系數(shù)α,可以控制L圖形的大小。α越小,L的圖形越大(上圖中的黑色方框);α越大,L的圖形就越小,可以小到黑色方框只超出原點范圍一點點,這是最優(yōu)點的值(w1,w2)=(0,w)中的w可以取到很小的值。

類似,假設有如下帶L2正則化的損失函數(shù):

J=J0+α∑ww2(2)

同樣可以畫出他們在二維平面上的圖形,如下:

圖2? L2正則化

二維平面下L2正則化的函數(shù)圖形是個圓,與方形相比,被磨去了棱角。因此J0與L相交時使得w1或w2等于零的機率小了許多,這就是為什么L2正則化不具有稀疏性的原因。

L2正則化和過擬合

擬合過程中通常都傾向于讓權值盡可能小,最后構造一個所有參數(shù)都比較小的模型。因為一般認為參數(shù)值小的模型比較簡單,能適應不同的數(shù)據(jù)集,也在一定程度上避免了過擬合現(xiàn)象。可以設想一下對于一個線性回歸方程,若參數(shù)很大,那么只要數(shù)據(jù)偏移一點點,就會對結果造成很大的影響;但如果參數(shù)足夠小,數(shù)據(jù)偏移得多一點也不會對結果造成什么影響,專業(yè)一點的說法是『抗擾動能力強』。

那為什么L2正則化可以獲得值很小的參數(shù)?

以線性回歸中的梯度下降法為例。假設要求的參數(shù)為θ,hθ(x)是我們的假設函數(shù),那么線性回歸的代價函數(shù)如下:

J(θ)=12m∑i=1m(hθ(x(i))?y(i))(3)

那么在梯度下降法中,最終用于迭代計算參數(shù)θ的迭代式為:

θj:=θj?α1m∑i=1m(hθ(x(i))?y(i))x(i)j(4)

其中α是learning rate. 上式是沒有添加L2正則化項的迭代公式,如果在原始代價函數(shù)之后添加L2正則化,則迭代公式會變成下面的樣子:

θj:=θj(1?αλm)?α1m∑i=1m(hθ(x(i))?y(i))x(i)j(5)

其中 λ就是正則化參數(shù) 。從上式可以看到,與未添加L2正則化的迭代公式相比,每一次迭代,θj都要先乘以一個小于1的因子,從而使得θj不斷減小,因此總得來看,θ是不斷減小的。

最開始也提到L1正則化一定程度上也可以防止過擬合。之前做了解釋,當L1的正則化系數(shù)很小時,得到的最優(yōu)解會很小,可以達到和L2正則化類似的效果。

正則化參數(shù)的選擇

L1正則化參數(shù)

通常越大的λ可以讓代價函數(shù)在參數(shù)為0時取到最小值。下面是一個簡單的例子,這個例子來自 Quora上的問答 。為了方便敘述,一些符號跟這篇帖子的符號保持一致。

假設有如下帶L1正則化項的代價函數(shù):

F(x)=f(x)+λ||x||1

其中x是要估計的參數(shù),相當于上文中提到的w以及θ. 注意到L1正則化在某些位置是不可導的,當λ足夠大時可以使得F(x)在x=0時取到最小值。如下圖:

圖3 L1正則化參數(shù)的選擇

分別取λ=0.5和λ=2,可以看到越大的λ越容易使F(x)在x=0時取到最小值。

L2正則化參數(shù)

從公式5可以看到,λ越大,θj衰減得越快。另一個理解可以參考圖2,λ越大,L2圓的半徑越小,最后求得代價函數(shù)最值時各參數(shù)也會變得很小。

Reference

過擬合的解釋:

正則化的解釋:

正則化的解釋:

正則化的數(shù)學解釋(一些圖來源于這里):

原文參考:blog.csdn.net/jinping_shi/article/details/52433975

請問卷積神經(jīng)網(wǎng)絡中這種loss圖是用什么畫的?

你可以使用Matlab,或者Matplotlib(一個著名的python繪圖包,強烈建議)。

Matplotlib: Python可視化

Matplotlib是一個用Python創(chuàng)建靜態(tài)、動畫和交互式可視化的綜合性庫。Matplotlib讓簡單的事情變得簡單,讓困難的事情成為可能。

1. 創(chuàng)建出版質量圖。

2. 制作可以縮放、平移、更新的交互式圖形。

3. 自定義視覺樣式和布局。

4. 導出到許多文件格式。

5. 嵌入JupyterLab和圖形用戶界面。

6. 使用構建在Matplotlib上的第三方包的豐富數(shù)組。

matplotlib參考官網(wǎng),以及用法

有任何疑問歡迎回復!!


網(wǎng)站欄目:python畫損失函數(shù)圖的簡單介紹
本文來源:http://weahome.cn/article/doodhip.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部