將數(shù)據(jù)挖掘中這些評測指標的基本概念做一整理,忘了的時候還可以來查一查。
精確度,有時也叫正確率,是英文中的precision而不是accuracy。表示正確識別為此類的樣本數(shù)目(TP)/識別為此類的樣本總數(shù)目(TP+FP)。FP就是那些原本不是此類但被錯誤的分為此類的樣本數(shù)目。
召回率,這個名稱容易使人把它和召回缺陷產(chǎn)品的比率聯(lián)想到一起,完全不是一碼事。所以另外一種翻譯的名稱更合適:查全率。表示正確識別為此類的樣本數(shù)目(TP)/真實情況下的此類的樣本數(shù)目(TP+FN)。那么真實情況包括哪些呢?一部分自然是正確分類的TP,另一部分就是那些被錯誤地分到了其他類的樣本數(shù)目(FN)
所以,公式:
P=TP/(TP+FP)
R=TP/(TP+FN)
還是舉個例子吧。網(wǎng)上多數(shù)介紹僅用兩個分類舉例,所以容易把FP和FN錯誤的當成一個數(shù),其實應該是多個數(shù)的和。這里我舉個3分類的例子。假定我們有24個樣本,真實情況是10個red類,8個yellow類,6個blue類。
用weka做了個例子,假定系統(tǒng)給出的結果如下:
a b c <-- classified as
9 1 0 | a = red
1 7 0 | b = yellow
1 1 4 | c = blue
是這樣看的:橫向為真實情況,縱向為工具分類結果。即:有11個樣本被當作red類。而這11個樣本中,有9個確實是red類,還有一個其實是yellew,另一個其實是blue;有9個樣本被當作yellow類。這9個樣本當中,有7個確實是yellow,還有一個其實是red,另一個其實是blue;有4個樣本被當作blue類。而這4個樣本也確實是blue。
那么根據(jù)前面的公式,可以對red、yellow、blue分別計算正確率和查全率了。
P(red)=9/11 R(red)=9/10
P(yellow)=7/9 R(yellow)=7/8
P(blue)=4/4 R(blue)=4/6
那么我們從直觀上感覺一下分類的好壞,正確率雖然很關鍵,但光有正確率是不夠的。比如blue,正確率是100%,但其實只是把2/3的數(shù)據(jù)挑出來了,還有1/3搞錯了。那么更極端的假想一下,如果某一類實際上有10000個樣本,最后只分出一個,對是對了。此時正確率還是100%,但我們能認為這個分類結果是可以接受嗎?顯然不行。所以P值和R同時要比較高才好。于是有了F指標:
F=2*P*R/(P+R)
最后再來說說accuracy,這個通常翻譯成準確率。也是一個綜合指標:
A=(TP + TN)/(P+N),表示正確分類的樣本數(shù)目/所有樣本總數(shù)目。同樣,這個分子的寫法也容易讓人誤認為是兩個數(shù)的和,其實不止。
對于上面那個例子來說,準確率應該是:
A=(9+7+4)/(10+8+6)
另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。