這篇文章主要介紹了python模型的評(píng)估實(shí)例分析的相關(guān)知識(shí)，內(nèi)容詳細(xì)易懂，操作簡(jiǎn)單快捷，具有一定借鑒價(jià)值，相信大家閱讀完這篇python模型的評(píng)估實(shí)例分析文章都會(huì)有所收獲，下面我們一起來(lái)看看吧。

專(zhuān)注于為中小企業(yè)提供成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)寶興免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了近千家企業(yè)的穩(wěn)健成長(zhǎng)，幫助中小企業(yè)通過(guò)網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

除了使用estimator的score函數(shù)簡(jiǎn)單粗略地評(píng)估模型的質(zhì)量之外，

在sklearn.metrics模塊針對(duì)不同的問(wèn)題類(lèi)型提供了各種評(píng)估指標(biāo)并且可以創(chuàng)建用戶自定義的評(píng)估指標(biāo)，

使用model_selection模塊中的交叉驗(yàn)證相關(guān)方法可以評(píng)估模型的泛化能力，能夠有效避免過(guò)度擬合。

一，metrics評(píng)估指標(biāo)概述

sklearn.metrics中的評(píng)估指標(biāo)有兩類(lèi)：以_score結(jié)尾的為某種得分，越大越好，

以_error或_loss結(jié)尾的為某種偏差，越小越好。

常用的分類(lèi)評(píng)估指標(biāo)包括：accuracy_score,f1_score,

precision_score,recall_score等等。

常用的回歸評(píng)估指標(biāo)包括：r2_score,explained_variance_score等等。

常用的聚類(lèi)評(píng)估指標(biāo)包括：adjusted_rand_score,adjusted_mutual_info_score等等。

二，分類(lèi)模型的評(píng)估

模型分類(lèi)效果全部信息：

• confusion_matrix 混淆矩陣,誤差矩陣。

模型整體分類(lèi)效果：

• accuracy 正確率。通用分類(lèi)評(píng)估指標(biāo)。

模型對(duì)某種類(lèi)別的分類(lèi)效果：

• precision 精確率，也叫查準(zhǔn)率。模型不把正樣本標(biāo)錯(cuò)的能力?！安辉┩饕粋€(gè)好人”。

• recall 召回率，也叫查全率。模型識(shí)別出全部正樣本的能力。“也絕不放過(guò)一個(gè)壞人”。

• f1_score F1得分。精確率和召回率的調(diào)和平均值。

利用不同方式將類(lèi)別分類(lèi)效果進(jìn)行求和平均得到整體分類(lèi)效果：

• macro_averaged：宏平均。每種類(lèi)別預(yù)測(cè)的效果一樣重要。

• micro_averaged：微平均。每一次分類(lèi)預(yù)測(cè)的效果一樣重要。

• weighted_averaged：加權(quán)平均。每種類(lèi)別預(yù)測(cè)的效果跟按該類(lèi)別樣本出現(xiàn)的頻率成正比。

• sampled_averaged: 樣本平均。僅適用于多標(biāo)簽分類(lèi)問(wèn)題。根據(jù)每個(gè)樣本多個(gè)標(biāo)簽的預(yù)測(cè)值和真實(shí)值計(jì)算評(píng)測(cè)指標(biāo)。然后對(duì)樣本求平均。

僅僅適用于概率模型，且問(wèn)題為二分類(lèi)問(wèn)題的評(píng)估方法：

• ROC曲線

• auc_score

三，回歸模型的評(píng)估

回歸模型最常用的評(píng)估指標(biāo)有：

• r2_score(r方，擬合優(yōu)度，可決系數(shù))

• explained_variance_score(解釋方差得分)

四，使用虛擬估計(jì)器產(chǎn)生基準(zhǔn)得分

對(duì)于監(jiān)督學(xué)習(xí)(分類(lèi)和回歸)，可以用一些基于經(jīng)驗(yàn)的簡(jiǎn)單估計(jì)策略(虛擬估計(jì))的得分作為參照基準(zhǔn)值。

DummyClassifier 實(shí)現(xiàn)了幾種簡(jiǎn)單的分類(lèi)策略:

• stratified 通過(guò)在訓(xùn)練集類(lèi)分布方面來(lái)生成隨機(jī)預(yù)測(cè).

• most_frequent 總是預(yù)測(cè)訓(xùn)練集中最常見(jiàn)的標(biāo)簽.

• prior 類(lèi)似most_frequenct，但具有precit_proba方法

• uniform 隨機(jī)產(chǎn)生預(yù)測(cè).

• constant 總是預(yù)測(cè)用戶提供的常量標(biāo)簽.

DummyRegressor 實(shí)現(xiàn)了四個(gè)簡(jiǎn)單的經(jīng)驗(yàn)法則來(lái)進(jìn)行回歸:

• mean 總是預(yù)測(cè)訓(xùn)練目標(biāo)的平均值.

• median 總是預(yù)測(cè)訓(xùn)練目標(biāo)的中位數(shù).

• quantile 總是預(yù)測(cè)用戶提供的訓(xùn)練目標(biāo)的 quantile（分位數(shù)）.

• constant 總是預(yù)測(cè)由用戶提供的常數(shù)值.

五，欠擬合，過(guò)擬合與交叉驗(yàn)證

在機(jī)器學(xué)習(xí)問(wèn)題中，經(jīng)常會(huì)出現(xiàn)模型在訓(xùn)練數(shù)據(jù)上的得分很高，

但是在新的數(shù)據(jù)上表現(xiàn)很差的情況，這稱(chēng)之為過(guò)擬合overfitting,又叫高方差high variance。

而如果在訓(xùn)練數(shù)據(jù)上得分就很低，這稱(chēng)之為欠擬合underfitting,又叫高偏差high bias。

留出法

為了解決過(guò)擬合問(wèn)題，常見(jiàn)的方法將數(shù)據(jù)分為訓(xùn)練集和測(cè)試集，用訓(xùn)練集去訓(xùn)練模型的參數(shù)，用測(cè)試集去測(cè)試訓(xùn)練后模型的表現(xiàn)。有時(shí)對(duì)于一些具有超參數(shù)的模型(例如svm.SVC的參數(shù)C和kernel就屬于超參數(shù))，還需要從訓(xùn)練集中劃出一部分?jǐn)?shù)據(jù)去驗(yàn)證超參數(shù)的有效性。

交叉驗(yàn)證法

在數(shù)據(jù)數(shù)量有限時(shí)，按留出法將數(shù)據(jù)分成3部分將會(huì)嚴(yán)重影響到模型訓(xùn)練的效果。為了有效利用有限的數(shù)據(jù)，可以采用交叉驗(yàn)證cross_validation方法。

交叉驗(yàn)證的基本思想是：以不同的方式多次將數(shù)據(jù)集劃分成訓(xùn)練集和測(cè)試集，分別訓(xùn)練和測(cè)試，再綜合最后的測(cè)試得分。每個(gè)數(shù)據(jù)在一些劃分情況下屬于訓(xùn)練集，在另外一些劃分情況下屬于測(cè)試集。

簡(jiǎn)單的2折交叉驗(yàn)證：把數(shù)據(jù)集平均劃分成A，B兩組，先用A組訓(xùn)練B組測(cè)試，再用B組訓(xùn)練A組測(cè)試，所以叫做交叉驗(yàn)證。

常用的交叉驗(yàn)證方法：K折(KFold),留一交叉驗(yàn)證(LeaveOneOut,LOO),留P交叉驗(yàn)證(LeavePOut,LPO),重復(fù)K折交叉驗(yàn)證(RepeatedKFold),隨機(jī)排列交叉驗(yàn)證(ShuffleSplit)。

此外，為了保證訓(xùn)練集中每種標(biāo)簽類(lèi)別數(shù)據(jù)的分布和完整數(shù)據(jù)集中的分布一致，可以采用分層交叉驗(yàn)證方法(StratifiedKFold，StratifiedShuffleSplit)。

當(dāng)數(shù)據(jù)集的來(lái)源有不同的分組時(shí)，獨(dú)立同分布假設(shè)(independent identical distributed:i.i.d)將被打破，可以使用分組交叉驗(yàn)證方法保證訓(xùn)練集的數(shù)據(jù)來(lái)自各個(gè)分組的比例和完整數(shù)據(jù)集一致。(GroupKFold,LeaveOneGroupOut,LeavePGroupsOut,GroupShuffleSplit)

對(duì)于時(shí)間序列數(shù)據(jù)，一個(gè)非常重要的特點(diǎn)是時(shí)間相鄰的觀測(cè)之間的相關(guān)性(自相關(guān)性)，因此用過(guò)去的數(shù)據(jù)訓(xùn)練而用未來(lái)的數(shù)據(jù)測(cè)試非常重要。TimeSeriesSplit可以實(shí)現(xiàn)這樣的分割。

六，交叉驗(yàn)證綜合評(píng)分

調(diào)用 cross_val_score 函數(shù)可以計(jì)算模型在各交叉驗(yàn)證數(shù)據(jù)集上的得分。

可以指定metrics中的打分函數(shù)，也可以指定交叉驗(yàn)證迭代器。

cross_validate函數(shù)和cross_val_score函數(shù)類(lèi)似，但功能更為強(qiáng)大，它允許指定多個(gè)指標(biāo)進(jìn)行評(píng)估，并且除返回指定的指標(biāo)外，還會(huì)返回一個(gè)fit_time和score_time即訓(xùn)練時(shí)間和評(píng)分時(shí)間。

使用cross_val_predict可以返回每條樣本作為CV中的測(cè)試集時(shí)，對(duì)應(yīng)的模型對(duì)該樣本的預(yù)測(cè)結(jié)果。

這就要求使用的CV策略能保證每一條樣本都有機(jī)會(huì)作為測(cè)試數(shù)據(jù)，否則會(huì)報(bào)異常。

關(guān)于“python模型的評(píng)估實(shí)例分析”這篇文章的內(nèi)容就介紹到這里，感謝各位的閱讀！相信大家對(duì)“python模型的評(píng)估實(shí)例分析”知識(shí)都有一定的了解，大家如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。