為什么要叫“卡方”？因為原名是“chi-squared”，一半是音譯，一半是意譯。其中，chi 是希臘字母 的讀音，其實讀音更像是“開”，而不是“卡”。square表示平方，因此在英語中，卡方分布寫作 distribution。
成都創(chuàng)新互聯(lián)服務項目包括青岡網(wǎng)站建設、青岡網(wǎng)站制作、青岡網(wǎng)頁制作以及青岡網(wǎng)絡營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術優(yōu)勢、行業(yè)經(jīng)驗、深度合作伙伴關系等，向廣大中小型企業(yè)、政府機構等提供互聯(lián)網(wǎng)行業(yè)的解決方案，青岡網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟效益。目前，我們服務的客戶以成都為中心已經(jīng)輻射到青岡省份的部分城市，未來相信會繼續(xù)擴大服務區(qū)域并繼續(xù)獲得客戶的支持與信任！
在理解卡方檢驗之前，應當理解卡方分布?？ǚ椒植际且环N連續(xù)概率分布。
如果一個隨機變量 服從標準正態(tài)分布，即 ，那么 就服從自由度為1的卡方分布。記作 或者
而如果 都服從標準正態(tài)分布，那么它們的平方和服從自由度為 的卡方分布，記作：
或者寫作 。
對于非負自變量 的自由度為 的卡方分布的概率密度函數(shù) (簡稱"pdf")：
（1）為什么 非負？因為根據(jù)定義，卡方分布的自變量是一個平方和。
（2）這里的 是一個函數(shù)。關于這個函數(shù)具體是什么，以及上門的概率密度函數(shù)如何推導，這里不展開，只需要知道有這么個函數(shù)即可。實在是好奇的，可以 參考這里 。
（3）卡方分布的均值為 ，而標準差為 。
（4）自由度越大，該函數(shù)圖像越對稱。
（5）為什么這里 需要正態(tài)分布，我的理解是，如果零假設為真，那么觀測值和期望值之間的波動程度，應該是正態(tài)分布的，或者說“噪聲”應該是正態(tài)分布的。
卡方檢驗有兩個用途：
擬合優(yōu)度檢驗 chi-squared test goodness of fit
獨立性檢驗 chi-squared test of independence
某新聞說某個籃球明星的原地兩連投的單次命中率是0.8，根據(jù)歷次比賽的數(shù)據(jù)匯總得到下面的表格：
意思是說，在比賽中，有5次兩連投是一次都沒中，有82次是在兩連投中命中1次?，F(xiàn)在，我們來用卡方檢驗驗證新聞說的0.8的命中率是否正確。零假設如下：
：兩連投的成功次數(shù)符合二項分布，且概率為
（1）先根據(jù)零假設計算“期望”的命中次數(shù)分布：
由于總的觀察次數(shù)為 ，于是在 成立的前提下，可以計算每種兩連投結果的期望次數(shù)：
0次命中:
1次命中:
2次命中:
顯然，期望的觀察次數(shù)和實際的觀察次數(shù)是有偏差的，那么問題在于這個偏差是否大到具有統(tǒng)計顯著性，進而可以否定零假設。
（2）我們來構造卡方檢驗統(tǒng)計量（chi-squared test statistic）：
這個值是把表里每個格子的實際值和期望值進行對比。為什么要用平方？目的在于規(guī)避正負號的影響。為什么要除以期望值？目的在于消除數(shù)量絕對值的影響。例如你預算3塊錢的水，商家加價50元，那么這個波動是你無法忍受的，而你預算20萬的車，商家加價50元，則變得可以忍受。也就是說，除以期望值目的在于聚焦于變化率，而不是變化量。
之后，把這些“變化率”加總得到 。而計算自由度有一個公式：
其中 R 表示行數(shù)，C 表示列數(shù)。對于本例：
從另一個角度解釋為什么 ：前面的定義是如果是 個符合標準正態(tài)分布的 相加，則自由度是 ，但是這里自有兩個格子可以自由變化，第三個格子可以用總觀察數(shù)減出來，例如 。
因此，真正自由的只有2個格子，所以自由度是2。
好了，將格子的數(shù)據(jù)代入，求出檢驗統(tǒng)計量：
（3）根據(jù)自由度為2的卡方分布，找到檢驗統(tǒng)計量對應的位置：
不難理解，隨著統(tǒng)計量增大，表示預期的分布和實際的分布的差異也就越來越大。
另外，由于通常意義上，p值是越小越能推翻零假設，那么顯然我們需要用右側的面積來表示p值，這里用Python計算來代替查表：
輸出：statistic: 17.26, pvalue: 0.0002
由于p值很?。僭O我們的顯著性水平的0.05），那么我們可以推翻零假設。
進一步的，我們來探索下，該運動員的兩連投的成功次數(shù)分數(shù)是否真的符合二項分布。零假設：
：兩連投的成功次數(shù)符合二項分布。
既然符合二項分布，那么我們需要先估算一下最合理的 概率，那當然是用總命中數(shù)除以總投籃數(shù)來計算了：
然后，用該概率值重復之前的計算，也就是先計算出一個期望的表格：
注意，這里的 ，這是因為，我們每從數(shù)據(jù)估計一個參數(shù)，那么我們就損失一個自由度。這里用了一個平均命中的概率，因此自由度只有 。
這時候，在使用 Python 進行計算時，注意調(diào)整默認的自由度：
這里的 ddof 就是額外損失的自由度，本意是“delta degree of freedom”
輸出：statistic: 0.34, pvalue: 0.56
可以看到p值很大，因此不足以推翻零假設，也就是說該運動員的投籃命中次數(shù)可能真的是二項分布。
下面表格表示喝酒頻率和與警察發(fā)生麻煩的頻數(shù)。
以第一列為例，表示從不喝酒的人中，4992人不發(fā)生麻煩，71人會發(fā)生麻煩。
現(xiàn)在的問題是，能否從以下數(shù)據(jù)推斷說喝酒頻率和與警察發(fā)生麻煩這兩個事件相互獨立？
我們的零假設應該如何設計？如果要說明兩者相互獨立，那么上表的分布應該滿足乘法公式。也就是說兩個獨立事件一起發(fā)生的概率等于分別發(fā)生的概率之積。
于是我們有：
發(fā)生麻煩的總人數(shù)除以總人數(shù)
不喝酒的總人數(shù)除以總人數(shù)
進一步，根據(jù)總人數(shù)算出不喝酒而發(fā)生麻煩的人數(shù)的期望（下標表示零假設）：
用類似的算法，計算每一個格子在零假設成立的情況下的值，寫在原表數(shù)據(jù)下的括號里：
仔細觀察可以看出，其實每個格子就是對應的：
另外可以看到，零假設下的各個格子的行列之和與原來相同。這不是偶然的，我們用字母代替計算一下就知道了：
于是第一列的兩個格子應該是：
對于其他格子、行的總和，都一樣，這里不多說了。
好，繼續(xù)分析。我們直接用上表計算卡方統(tǒng)計量和p值：
這部分計算方法和擬合優(yōu)度是一樣的，就不贅述了。計算發(fā)現(xiàn)這個p值非常小，接近0，因此我們可以推翻零假設。也就是說，喝酒的頻率和被警察找麻煩的并不是獨立的，而是相關的。
關于獨立性檢驗，有一個比卡方檢驗更精準的檢驗，叫 fisher's exact test。它通過直接計算否定零假設的概率，也就直接得到了一個準確的p值。有一個經(jīng)典的女士品茶的統(tǒng)計學故事。有一個女士號稱可以區(qū)分出一杯茶是先倒入了奶還是先倒入了茶。統(tǒng)計學家 Fisher 為了驗證她的說法，做了一個實驗。拿了8杯茶，4杯是先茶后奶，4杯是先奶后茶。
實驗結果是全部說對了。那么問題是，這是否具有統(tǒng)計顯著性呢？比如說一個人猜對了一次硬幣，他的預測能力靠譜嗎？
我們假設女士的判斷是完全隨機的，這個是我們的零假設。那么8杯里面抽中4杯全對的概率是：
如果顯著性水平是0.01，那么我們不能推翻零假設，即不敢確定這位女士真有這個識別能力。如果顯著性水平定在0.05，則我們可以認為她確實有這個識別能力。
如果讓實驗結果有更大的說服力呢？一個簡單的辦法就是增加茶的數(shù)量，比如我們設定為兩種茶各10杯，要求10杯都判斷正確，那么p值為多少呢？
這個算起來比較麻煩，這里我寫一個 python 腳本來計算：
計算結果：
這個p值就小得很夸張了，基本可以斷定零假設不成立了。
那么，回到實驗本身，如果女士只選對了三杯，那么在零假設的前提下，這個發(fā)生的概率是多少？
這個概率比較大了，原大于通常使用的顯著性水平 0.05，因此我們沒有辦法推翻零假設。為什么要這樣 乘 呢？這個是因為一共有這么多種取法。你把所有可能的取法羅列處理，就是16種，然后除以總的取法數(shù)，就是隨機取到這樣結果的概率。
比較 Fisher's exact test 和 chi-squared test，可以 參考這篇文章 。
一般來說，兩者都適用的情況下，應該優(yōu)先選擇 Fisher's exact test，因為它是精確值。如果實驗觀察的數(shù)量很?。ㄐ∮?0），應該不使用 chi-squared test。
下面使用一個腳本來計算：
卡方檢驗是假設檢驗的一種， 用于分析兩個類別變量的相關關系 ，是一種非參數(shù)假設檢驗，得出的結論無非就是“兩個變量相關”或者“兩個變量”不相關，所以有的教材上又叫“獨立性檢驗”。如果不是很清楚“假設檢驗”的朋友們，就要好好翻一下本科階段《概率論與數(shù)理統(tǒng)計》的教材了。
關于假設檢驗的關鍵字有：總體、樣本、點估計、區(qū)間估計、顯著性水平、置信區(qū)間、統(tǒng)計量、樞軸量、分位點、三大分布、中心極限定理（明確正態(tài)分布的重要地位）、抽樣分布定理。
如果這些關鍵字你還比較生疏的話，可以翻翻本科的《概率論與數(shù)理統(tǒng)計》教材，在“數(shù)理統(tǒng)計”部分，你可以找到它們。
它的流程基本是這樣的：我感覺變量 A 和變量 B 存在相關關系，于是我提出假設“變量 A 和變量 B 存在相關關系”，然后我要用嚴格的數(shù)學方法證明“變量 A 和變量 B 存在相關關系”這個假設成立。
類別變量就是取值為離散值的變量，“性別”就是一個類別變量，它的取值只有“男”和“女”，類似還有”婚否“、”國籍“等。
以我們熟知的 Kaggle 平臺上的泰坦尼克號幸存者預測提供的數(shù)據(jù)為例，”性別“對于”是否幸存“的關系研究，就屬于這方面的內(nèi)容。研究表明，泰坦尼克號上的乘客秉承”女士優(yōu)先，照顧弱勢群體“的基本原則，因此女性幸存的概率比男性要大，這就說明，”性別“對于”是否幸存“有相關關系，我們后面會使用卡方檢驗來驗證這一事實。
假設檢驗，顧名思義，就是提出一個假設，然后檢驗你提出的假設是否正確。假設檢驗的流程其實是固定的，關鍵其實在于理解假設檢驗的設計原則。
這里說一句題外話，“提出假設，然后證明假設”其實我們一點都不陌生，人類探索未知事物、真理用的都是這個思路。聰明的祖先根據(jù)經(jīng)驗和直覺，提出一個猜想，然后再用嚴格的理論去論證這個猜想，例如我們熟知的“萬有引力定律”、“地球是圓的”，這些說法剛剛提出來的時候，就只是科學家們的猜想，隨后（很可能是很久很久以后），才被證明他們的猜想是正確的、偉大的。只不過在統(tǒng)計學中，“提出猜想”叫“提出假設”，“證明猜想”叫“檢驗”。
那么我們假設什么呢？這里就要引入“原假設”和“備擇假設”的概念了?！霸僭O”是“備擇假設”的對立面。
下面這個原則很重要：
重要的事情，我再寫兩遍：如果你想通過種種論證，證明一件事情，就要把這件事情寫成“備擇假設”。bfont size='3' color='ff0000'備擇假設通常用于表達研究者自己傾向于支持的看法（這很主觀），然后就是想辦法收集證據(jù)拒絕原假設，以支持備擇假設/font/b。
特別要說明的一點是：如果你不遵守這個“原假設”和“備擇假設”設計的基本原則，你很可能會得到相反的結論。
假設檢驗很像司法界對于一個事實的認定，本著“疑罪從無”的原則，如果你要說明一個人有罪，你必須提供充足的證據(jù)，否則被告人的罪名就不能成立，這個說法叫“沒有充分的證據(jù)證明被告有罪”。
因此，如果我們最后的結論是“原假設”成立，我們一般不這么說，即我們不說“原假設”成立，我們不說“原假設”是真的。我們說 不能拒絕“原假設” ，或者說 沒有充分的證據(jù)拒絕“原假設” ，或者說 沒有充分的證據(jù)證明“備擇假設”成立 。
因為我們做假設檢驗一定是覺得兩個類別變量有關系，才去做檢驗。再想想那個“疑罪從無”原則，我們是覺得一個人有罪，才去舉證。因此卡方檢驗的“原假設”一定是假設獨立，“備擇假設”一定是假設相關，即：
這一點是極其重要且明確的，請你一定記住它，在統(tǒng)計軟件中都是這樣設定的。
做“檢驗”這件事情，就很像我們以前做的“反證法”，我們假定要證明的結論的對立面成立，然后推出矛盾，即說明了我們的假設是錯誤的，即原命題成立。請看下面這個例子：
請你證明：這個餐廳的菜很難吃。
證明：假設這個餐廳的菜很好吃，那么周末的晚上生意一定很好，然而實際觀察下來，顧客流量和平時一樣，推出矛盾，所以假設不成立，即這個餐廳的菜很難吃。
用假設檢驗的思路，在這個例子中：
原假設：這個餐廳的菜很好吃；
備擇假設：這個餐廳的菜很難吃。
我們把傾向于要證明的結論設置為“備擇假設”，而推理是基于“原假設”成立進行的，推理得出矛盾，說明“原假設”錯誤，從錯誤的起點推出了錯誤的結論，因此“原假設”不成立，這就是假設檢驗里面說的“拒絕原假設”。
因此，檢驗其實很簡單，就是一個是非論證的過程，是單選題，只有兩個選項，選擇其一。
假設檢驗的論證流程其實是固定的。論證依據(jù)的事實是“ 小概率事件在一次試驗中幾乎不可能發(fā)生 ”，通常，我們得到的矛盾就在于：通過計算統(tǒng)計量，發(fā)現(xiàn)通過一次試驗得到這個統(tǒng)計量是一個“小概率事件”，“小概率事件”在一次試驗中，居然發(fā)生了，我們就認為這是很“詭異”的，一定是之前的某個環(huán)節(jié)出了問題，即“原假設”不成立，于是拒絕“原假設”，即證明了“備擇假設”成立。
“卡方檢驗”即利用“卡方分布”去做“假設檢驗”。
“卡方分布”（也寫作 “ 分布”）是統(tǒng)計學領域的三大分布之一，另外兩個分布是“ 分布”與“ 分布”，這些分布都是由正態(tài)分布推導出來的，可以認為它們是我們熟知的分布，因為它們可以取哪些值，以及取這些值的概率都是完全弄清楚了的。
注：忘記了三大分布的朋友們，請一定要翻翻自己本科的教材，看看這些分布用來做什么？為什么出現(xiàn)在“數(shù)理統(tǒng)計”中，理解使用這些分布是為了從樣本中估計總體的信息。
統(tǒng)計學的研究任務是通過樣本研究總體，因為我們無法把所有的總體都做一次測試，一般可行的做法就是從總體中抽取一部分數(shù)據(jù)，根據(jù)對這一部分數(shù)據(jù)的研究，推測總體的一些性質(zhì)。
而“三大分布”就是我們研究樣本的時候選取的參照物。一般我們研究的思路是這樣的：如果經(jīng)過分析，得出待研究的樣本符合這些我們已知的分布之一，因為三大分布是被我們的統(tǒng)計學家完全研究透了的，可以認為是無比正確的，就可以通過查表得到這些分布的信息，進而得到樣本的一些性質(zhì)，幫助我們決策。
這里舉一個例子，比如你是一個面試官，你手上掌握著“北京”、“上?！?、“廣州”三個省市的人才信息庫，來了一個面試者，從簡歷中得知這個人來自“北京”，那么我們就可以直接從“北京”市的人才信息庫中查閱到他的詳細履歷，掌握到他更全面的信息。
上面提到的“北京”、“上海”、“廣州” 這 3 個城市的人才信息庫，就相當于統(tǒng)計學中的三大分布，你不用記住它，你不用隨身攜帶它，但是你可以查閱它，它會告訴你你想知道的信息。
做假設檢驗的時候，我們也是類似的思路，我們需要利用總體的樣本構造出合適的統(tǒng)計量（或樞軸量），并使其服從或近似地服從已知的確定分布，這樣我們就可以查閱這些確定分布的相關信息，得到待研究樣本所反映出來的總體的一些性質(zhì)。
上面說到了“統(tǒng)計量”和“樞軸量”，下面簡單談一談。
如果忘記了的朋友們一定要翻翻以前的教程，“抽樣分布定理”是非常重要的。根據(jù)抽樣分布定理，我們經(jīng)常是這樣用的：樣本的某個含有未知參數(shù)的函數(shù)符合某個已知分布，已知分布可以查表，因此未知參數(shù)的性質(zhì)就知道了。求“置信區(qū)間”與做“假設檢驗”通常就是這樣的思路。
說明： 是觀測頻數(shù)（實際值）， 是期望頻數(shù)（可以認為是理論值），期望頻數(shù)的計算公式我們馬上會介紹到。這個統(tǒng)計量服從自由度為 的 分布， 為行數(shù)， 為列數(shù)。
下面舉個例子，說明卡方檢驗的基本流程。
以下例子選自中國人民大學龍永紅主編《概率論與數(shù)理統(tǒng)計》（第三版）P190 “獨立性檢驗”一節(jié)例 5.32。
研究青少年行為與家庭狀況的關系，調(diào)查結果如下：
分析：“青少年行為”是離散型變量，有“犯罪”與“未犯罪”兩個取值；“家庭狀況”是也離散型變量，有“離異家庭”與“和睦家庭”兩個取值，從直覺上，我們認為它們是相關的。因此
上面這張表，我們可以稱之為 觀察頻數(shù)表 ，觀察依據(jù)事實。下面我們會計算一張“理論頻數(shù)表”，理論依據(jù)假設。
原假設：“青少年行為”與“家庭狀況”獨立。
備擇假設：“青少年行為”與“家庭狀況”不獨立。
要計算出檢驗統(tǒng)計量，關鍵是計算出期望頻數(shù)。我們之前說到了， 假設檢驗是基于原假設進行論證 ，因此我們的期望頻數(shù)應該是基于【“青少年行為”與“家庭狀況”獨立】得到的，即： 兩個類別的交叉項的概率可以根據(jù)獨立事件的概率乘法公式 得到 。具體是這樣做的，上面那張表中，把交叉項隱藏起來：
在【“青少年行為”與“家庭狀況”獨立】這個假設下有：
我們要計算期望頻數(shù)，就把上面這 個概率分別乘以樣本總數(shù) 就可以了，于是我們得到 理論頻數(shù)表 ：
下面我們就套公式 了，將每個單元格的 加起來，就可以得到 統(tǒng)計量：
上面說服從自由度為 的 分布， 為行數(shù)， 為列數(shù)，即服從 的 分布，接下來，我們就要看得到這個統(tǒng)計量的概率有多大：
得到圖像如下：
可以看到， 都不在能圖像顯示到的范圍之內(nèi)，說明這個概率很低。下面我們查表或者使用 Python 查一下，這個概率是多少：
得到： ，確實是一個幾乎為 的數(shù)。這說明了什么呢？
說明了，在我們的假設【“青少年行為”與“家庭狀況”獨立】下，得到這組觀測數(shù)據(jù)的概率很低很低，基于bfont size='3' color='ff0000' 小概率事件在一次試驗中幾乎不會發(fā)生 /font/b，但它卻發(fā)生了，就證明了我們的“原假設”是不正確的，即有充分證據(jù)決絕“原假設”。（這一部分有點繞，其實很簡單，多看幾遍就非常清楚了。）
其實到這里，我們對卡方檢驗就已經(jīng)介紹完了，是不是覺得很簡單。但是在實際操作的過程中，我們還會引入 值，很多統(tǒng)計軟件也會幫我們計算出 值，這個 值是個什么鬼呢？下面先給出我的結論：
說明：以下我根據(jù)對 值的理解自己總結的，是人話，但不一定準確。
得到“檢驗統(tǒng)計量”有個缺點，就是它是一個很“死”的數(shù)字，我們看到 ，我們只能直觀感覺它很大，因為如果觀察頻數(shù)與理論頻數(shù)大約相等，這個值應該很小，但不能量化這個值有多大。這只是統(tǒng)計量服從某個自由度的卡方分布的情況。
那么問題來了，如果統(tǒng)計量服從其它分布呢？統(tǒng)計量這個干巴巴的數(shù)字，你怎么知道這個這個分布取到這個統(tǒng)計量的概率有多大？因此還差一步， 我們還必須查表 。所以得到 值的過程就是幫你查表了， 值是一個概率值，它介于 和 之間， 值是 當前分布取到這個統(tǒng)計量的概率到當前分布極端值（指的是概率很小的極端值）這個區(qū)間的累計概率之和 ，即取到這個值，到比這個值更“差”的概率之和，如果 值很大，說明統(tǒng)計量取當前值的概率在一個正常的范圍（一般是認為設定成 ），如果 值很小，說明這個統(tǒng)計量取當前值的概率也非常小。
特別說明： 對于連續(xù)型隨機變量來說，取到某個值的概率其實是 ，因此上面才用到了對于區(qū)間取概率之和。
說明：上面所說的累積概率之和如果很小，小于一個臨界值，這個臨界值我們稱之為“顯著性水平”，用 表示，一般取 。多說一句，這個顯著性水平其實是我們在原假設成立的情況下，拒絕原假設的概率，即犯第一類錯誤的概率，具體就不展開了，請參考相關《概率論與數(shù)理統(tǒng)計》教材。
所以我們總結一下：
1、 值統(tǒng)一了假設檢驗的比較標準，把計算統(tǒng)計量的概率大小統(tǒng)一變成計算 值，如果這個 值小于一個預先設定好的很小的數(shù)，則拒絕原假設，如果 值大于這個預先設置好的很小的數(shù)，則說明沒有充分證據(jù)拒絕原假設；
2、使用 值進行假設檢驗的時候，會更便利。因此，使用 值進行假設檢驗的評判標準就只要一個，就是記住這句話“小拒大接”，即比 小，就拒絕“原假設”，比 大，結論是“沒有理由拒絕原假設”。
值在不同的檢驗問題中，計算的方式會有一些不同，區(qū)別就在于概率極端值是在一側還是在兩側。在這里，我們就以卡方檢驗為例，如果我們計算出來的統(tǒng)計量的值為 ，那么看圖：
這個時候，統(tǒng)計量取 的概率就很高了，從圖中可以看出大于 。我們作如下分析：
（說明：累計積分和分位點的概念都是十分重要的，在這里就不贅述了，讀者可以查閱相關統(tǒng)計學的教材。）
于是， 對于卡方檢驗而言 ，得到的統(tǒng)計量，我們可以計算這個從統(tǒng)計量到正無窮的積分，如果這個積分值小于“顯著性水平”，即 認為這個統(tǒng)計量的概率一定在“顯著性水平”所確定的臨界點的右邊，即它是比“小概率事件”發(fā)生的概率還小的“小概率事件” 。
下面，我們自己寫一個函數(shù)來實現(xiàn)卡方檢驗相關的計算，實現(xiàn)和 scipy 軟件包提供的卡方檢驗同樣的效果。
下面驗證我們編寫的卡方檢驗函數(shù)的正確性：
顯示：
1、結合日常生活的例子，了解什么是卡方檢驗
2、假設檢驗之八：p值是什么：
1. 常用函數(shù)庫
? scipy包中的stats模塊和statsmodels包是python常用的數(shù)據(jù)分析工具，scipy.stats以前有一個models子模塊，后來被移除了。這個模塊被重寫并成為了現(xiàn)在獨立的statsmodels包。
?scipy的stats包含一些比較基本的工具，比如：t檢驗，正態(tài)性檢驗，卡方檢驗之類，statsmodels提供了更為系統(tǒng)的統(tǒng)計模型，包括線性模型，時序分析，還包含數(shù)據(jù)集，做圖工具等等。
2. 小樣本數(shù)據(jù)的正態(tài)性檢驗
(1) 用途
?夏皮羅維爾克檢驗法 (Shapiro-Wilk) 用于檢驗參數(shù)提供的一組小樣本數(shù)據(jù)線是否符合正態(tài)分布，統(tǒng)計量越大則表示數(shù)據(jù)越符合正態(tài)分布，但是在非正態(tài)分布的小樣本數(shù)據(jù)中也經(jīng)常會出現(xiàn)較大的W值。需要查表來估計其概率。由于原假設是其符合正態(tài)分布，所以當P值小于指定顯著水平時表示其不符合正態(tài)分布。
?正態(tài)性檢驗是數(shù)據(jù)分析的第一步，數(shù)據(jù)是否符合正態(tài)性決定了后續(xù)使用不同的分析和預測方法，當數(shù)據(jù)不符合正態(tài)性分布時，我們可以通過不同的轉換方法把非正太態(tài)數(shù)據(jù)轉換成正態(tài)分布后再使用相應的統(tǒng)計方法進行下一步操作。
(2) 示例
(3) 結果分析
?返回結果 p-value=0.029035290703177452，比指定的顯著水平（一般為5%）小，則拒絕假設：x不服從正態(tài)分布。
3. 檢驗樣本是否服務某一分布
(1) 用途
?科爾莫戈羅夫檢驗(Kolmogorov-Smirnov test)，檢驗樣本數(shù)據(jù)是否服從某一分布，僅適用于連續(xù)分布的檢驗。下例中用它檢驗正態(tài)分布。
(2) 示例
(3) 結果分析
?生成300個服從N(0,1)標準正態(tài)分布的隨機數(shù)，在使用k-s檢驗該數(shù)據(jù)是否服從正態(tài)分布，提出假設：x從正態(tài)分布。最終返回的結果，p-value=0.9260909172362317，比指定的顯著水平（一般為5%）大，則我們不能拒絕假設：x服從正態(tài)分布。這并不是說x服從正態(tài)分布一定是正確的，而是說沒有充分的證據(jù)證明x不服從正態(tài)分布。因此我們的假設被接受，認為x服從正態(tài)分布。如果p-value小于我們指定的顯著性水平，則我們可以肯定地拒絕提出的假設，認為x肯定不服從正態(tài)分布，這個拒絕是絕對正確的。
4.方差齊性檢驗
(1) 用途
?方差反映了一組數(shù)據(jù)與其平均值的偏離程度，方差齊性檢驗用以檢驗兩組或多組數(shù)據(jù)與其平均值偏離程度是否存在差異，也是很多檢驗和算法的先決條件。
(2) 示例
(3) 結果分析
?返回結果 p-value=0.19337536323599344, 比指定的顯著水平（假設為5%）大，認為兩組數(shù)據(jù)具有方差齊性。
5. 圖形描述相關性
(1) 用途
?最常用的兩變量相關性分析，是用作圖描述相關性，圖的橫軸是一個變量，縱軸是另一變量，畫散點圖，從圖中可以直觀地看到相關性的方向和強弱，線性正相關一般形成由左下到右上的圖形；負面相關則是從左上到右下的圖形，還有一些非線性相關也能從圖中觀察到。
(2) 示例
(3) 結果分析
?從圖中可以看到明顯的正相關趨勢。
6. 正態(tài)資料的相關分析
(1) 用途
?皮爾森相關系數(shù)（Pearson correlation coefficient）是反應兩變量之間線性相關程度的統(tǒng)計量，用它來分析正態(tài)分布的兩個連續(xù)型變量之間的相關性。常用于分析自變量之間，以及自變量和因變量之間的相關性。
(2) 示例
(3) 結果分析
?返回結果的第一個值為相關系數(shù)表示線性相關程度，其取值范圍在[-1,1]，絕對值越接近1，說明兩個變量的相關性越強，絕對值越接近0說明兩個變量的相關性越差。當兩個變量完全不相關時相關系數(shù)為0。第二個值為p-value，統(tǒng)計學上，一般當p-value0.05時，可以認為兩變量存在相關性。
7. 非正態(tài)資料的相關分析
(1) 用途
?斯皮爾曼等級相關系數(shù)(Spearman’s correlation coefficient for ranked data )，它主要用于評價順序變量間的線性相關關系，在計算過程中，只考慮變量值的順序（rank, 值或稱等級），而不考慮變量值的大小。常用于計算類型變量的相關性。
(2) 示例
(3) 結果分析
?返回結果的第一個值為相關系數(shù)表示線性相關程度，本例中correlation趨近于1表示正相關。第二個值為p-value，p-value越小，表示相關程度越顯著。
8. 單樣本T檢驗
(1) 用途
?單樣本T檢驗，用于檢驗數(shù)據(jù)是否來自一致均值的總體，T檢驗主要是以均值為核心的檢驗。注意以下幾種T檢驗都是雙側T檢驗。
(2) 示例
(3) 結果分析
?本例中生成了2列100行的數(shù)組，ttest_1samp的第二個參數(shù)是分別對兩列估計的均值，p-value返回結果，第一列1.47820719e-06比指定的顯著水平（一般為5%）小，認為差異顯著，拒絕假設；第二列2.83088106e-01大于指定顯著水平，不能拒絕假設：服從正態(tài)分布。
9. 兩獨立樣本T檢驗
(1) 用途
?由于比較兩組數(shù)據(jù)是否來自于同一正態(tài)分布的總體。注意：如果要比較的兩組數(shù)據(jù)不滿足方差齊性， 需要在ttest_ind()函數(shù)中添加參數(shù)equal_var = False。
(2) 示例
(3) 結果分析
?返回結果的第一個值為統(tǒng)計量，第二個值為p-value，pvalue=0.19313343989106416，比指定的顯著水平（一般為5%）大，不能拒絕假設，兩組數(shù)據(jù)來自于同一總結，兩組數(shù)據(jù)之間無差異。
10. 配對樣本T檢驗
(1) 用途
?配對樣本T檢驗可視為單樣本T檢驗的擴展，檢驗的對象由一群來自正態(tài)分布獨立樣本更改為二群配對樣本觀測值之差。它常用于比較同一受試對象處理的前后差異，或者按照某一條件進行兩兩配對分別給與不同處理的受試對象之間是否存在差異。
(2) 示例
(3) 結果分析
?返回結果的第一個值為統(tǒng)計量，第二個值為p-value，pvalue=0.80964043445811551，比指定的顯著水平（一般為5%）大，不能拒絕假設。
11. 單因素方差分析
(1) 用途
?方差分析(Analysis of Variance，簡稱ANOVA)，又稱F檢驗，用于兩個及兩個以上樣本均數(shù)差別的顯著性檢驗。方差分析主要是考慮各組之間的平均數(shù)差別。
?單因素方差分析（One-wayAnova），是檢驗由單一因素影響的多組樣本某因變量的均值是否有顯著差異。
?當因變量Y是數(shù)值型，自變量X是分類值，通常的做法是按X的類別把實例成分幾組，分析Y值在X的不同分組中是否存在差異。
(2) 示例
(3) 結果分析
?返回結果的第一個值為統(tǒng)計量，它由組間差異除以組間差異得到，上例中組間差異很大，第二個返回值p-value=6.2231520821576832e-19小于邊界值（一般為0.05）,拒絕原假設, 即認為以上三組數(shù)據(jù)存在統(tǒng)計學差異，并不能判斷是哪兩組之間存在差異 。只有兩組數(shù)據(jù)時，效果同 stats.levene 一樣。
12. 多因素方差分析
(1) 用途
?當有兩個或者兩個以上自變量對因變量產(chǎn)生影響時，可以用多因素方差分析的方法來進行分析。它不僅要考慮每個因素的主效應，還要考慮因素之間的交互效應。
(2) 示例
(3) 結果分析
?上述程序定義了公式，公式中，"~"用于隔離因變量和自變量，”+“用于分隔各個自變量， ":"表示兩個自變量交互影響。從返回結果的P值可以看出，X1和X2的值組間差異不大，而組合后的T:G的組間有明顯差異。
13. 卡方檢驗
(1) 用途
?上面介紹的T檢驗是參數(shù)檢驗，卡方檢驗是一種非參數(shù)檢驗方法。相對來說，非參數(shù)檢驗對數(shù)據(jù)分布的要求比較寬松，并且也不要求太大數(shù)據(jù)量?？ǚ綑z驗是一種對計數(shù)資料的假設檢驗方法，主要是比較理論頻數(shù)和實際頻數(shù)的吻合程度。常用于特征選擇，比如，檢驗男人和女人在是否患有高血壓上有無區(qū)別，如果有區(qū)別，則說明性別與是否患有高血壓有關，在后續(xù)分析時就需要把性別這個分類變量放入模型訓練。
?基本數(shù)據(jù)有R行C列, 故通稱RC列聯(lián)表(contingency table), 簡稱RC表，它是觀測數(shù)據(jù)按兩個或更多屬性（定性變量）分類時所列出的頻數(shù)表。
(2) 示例
(3) 結果分析
?卡方檢驗函數(shù)的參數(shù)是列聯(lián)表中的頻數(shù)，返回結果第一個值為統(tǒng)計量值，第二個結果為p-value值，p-value=0.54543425102570975，比指定的顯著水平（一般5%）大，不能拒絕原假設，即相關性不顯著。第三個結果是自由度，第四個結果的數(shù)組是列聯(lián)表的期望值分布。
14. 單變量統(tǒng)計分析
(1) 用途
?單變量統(tǒng)計描述是數(shù)據(jù)分析中最簡單的形式，其中被分析的數(shù)據(jù)只包含一個變量，不處理原因或關系。單變量分析的主要目的是通過對數(shù)據(jù)的統(tǒng)計描述了解當前數(shù)據(jù)的基本情況，并找出數(shù)據(jù)的分布模型。
?單變量數(shù)據(jù)統(tǒng)計描述從集中趨勢上看，指標有：均值，中位數(shù)，分位數(shù)，眾數(shù)；從離散程度上看，指標有：極差、四分位數(shù)、方差、標準差、協(xié)方差、變異系數(shù)，從分布上看，有偏度，峰度等。需要考慮的還有極大值，極小值（數(shù)值型變量）和頻數(shù)，構成比（分類或等級變量）。
?此外，還可以用統(tǒng)計圖直觀展示數(shù)據(jù)分布特征，如：柱狀圖、正方圖、箱式圖、頻率多邊形和餅狀圖。
15. 多元線性回歸
(1) 用途
?多元線性回歸模型（multivariable linear regression model ），因變量Y（計量資料）往往受到多個變量X的影響，多元線性回歸模型用于計算各個自變量對因變量的影響程度，可以認為是對多維空間中的點做線性擬合。
(2) 示例
(3) 結果分析
?直接通過返回結果中各變量的P值與0.05比較，來判定對應的解釋變量的顯著性，P0.05則認為自變量具有統(tǒng)計學意義，從上例中可以看到收入INCOME最有顯著性。
16. 邏輯回歸
(1) 用途
?當因變量Y為2分類變量（或多分類變量時）可以用相應的logistic回歸分析各個自變量對因變量的影響程度。
(2) 示例
(3) 結果分析
?直接通過返回結果中各變量的P值與0.05比較，來判定對應的解釋變量的顯著性，P0.05則認為自變量具有統(tǒng)計學意義。
重慶分公司
重慶分公司
