卡方檢驗(yàn)是假設(shè)檢驗(yàn)的一種， 用于分析兩個(gè)類別變量的相關(guān)關(guān)系 ，是一種非參數(shù)假設(shè)檢驗(yàn)，得出的結(jié)論無非就是“兩個(gè)變量相關(guān)”或者“兩個(gè)變量”不相關(guān)，所以有的教材上又叫“獨(dú)立性檢驗(yàn)”。如果不是很清楚“假設(shè)檢驗(yàn)”的朋友們，就要好好翻一下本科階段《概率論與數(shù)理統(tǒng)計(jì)》的教材了。
在西烏珠穆沁等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供做網(wǎng)站、成都網(wǎng)站設(shè)計(jì) 網(wǎng)站設(shè)計(jì)制作定制網(wǎng)站,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),成都品牌網(wǎng)站建設(shè),成都營銷網(wǎng)站建設(shè),成都外貿(mào)網(wǎng)站建設(shè)公司,西烏珠穆沁網(wǎng)站建設(shè)費(fèi)用合理。
關(guān)于假設(shè)檢驗(yàn)的關(guān)鍵字有：總體、樣本、點(diǎn)估計(jì)、區(qū)間估計(jì)、顯著性水平、置信區(qū)間、統(tǒng)計(jì)量、樞軸量、分位點(diǎn)、三大分布、中心極限定理（明確正態(tài)分布的重要地位）、抽樣分布定理。
如果這些關(guān)鍵字你還比較生疏的話，可以翻翻本科的《概率論與數(shù)理統(tǒng)計(jì)》教材，在“數(shù)理統(tǒng)計(jì)”部分，你可以找到它們。
它的流程基本是這樣的：我感覺變量 A 和變量 B 存在相關(guān)關(guān)系，于是我提出假設(shè)“變量 A 和變量 B 存在相關(guān)關(guān)系”，然后我要用嚴(yán)格的數(shù)學(xué)方法證明“變量 A 和變量 B 存在相關(guān)關(guān)系”這個(gè)假設(shè)成立。
類別變量就是取值為離散值的變量，“性別”就是一個(gè)類別變量，它的取值只有“男”和“女”，類似還有”婚否“、”國籍“等。
以我們熟知的 Kaggle 平臺上的泰坦尼克號幸存者預(yù)測提供的數(shù)據(jù)為例，”性別“對于”是否幸存“的關(guān)系研究，就屬于這方面的內(nèi)容。研究表明，泰坦尼克號上的乘客秉承”女士優(yōu)先，照顧弱勢群體“的基本原則，因此女性幸存的概率比男性要大，這就說明，”性別“對于”是否幸存“有相關(guān)關(guān)系，我們后面會使用卡方檢驗(yàn)來驗(yàn)證這一事實(shí)。
假設(shè)檢驗(yàn)，顧名思義，就是提出一個(gè)假設(shè)，然后檢驗(yàn)?zāi)闾岢龅募僭O(shè)是否正確。假設(shè)檢驗(yàn)的流程其實(shí)是固定的，關(guān)鍵其實(shí)在于理解假設(shè)檢驗(yàn)的設(shè)計(jì)原則。
這里說一句題外話，“提出假設(shè)，然后證明假設(shè)”其實(shí)我們一點(diǎn)都不陌生，人類探索未知事物、真理用的都是這個(gè)思路。聰明的祖先根據(jù)經(jīng)驗(yàn)和直覺，提出一個(gè)猜想，然后再用嚴(yán)格的理論去論證這個(gè)猜想，例如我們熟知的“萬有引力定律”、“地球是圓的”，這些說法剛剛提出來的時(shí)候，就只是科學(xué)家們的猜想，隨后（很可能是很久很久以后），才被證明他們的猜想是正確的、偉大的。只不過在統(tǒng)計(jì)學(xué)中，“提出猜想”叫“提出假設(shè)”，“證明猜想”叫“檢驗(yàn)”。
那么我們假設(shè)什么呢？這里就要引入“原假設(shè)”和“備擇假設(shè)”的概念了?！霸僭O(shè)”是“備擇假設(shè)”的對立面。
下面這個(gè)原則很重要：
重要的事情，我再寫兩遍：如果你想通過種種論證，證明一件事情，就要把這件事情寫成“備擇假設(shè)”。bfont size='3' color='ff0000'備擇假設(shè)通常用于表達(dá)研究者自己傾向于支持的看法（這很主觀），然后就是想辦法收集證據(jù)拒絕原假設(shè)，以支持備擇假設(shè)/font/b。
特別要說明的一點(diǎn)是：如果你不遵守這個(gè)“原假設(shè)”和“備擇假設(shè)”設(shè)計(jì)的基本原則，你很可能會得到相反的結(jié)論。
假設(shè)檢驗(yàn)很像司法界對于一個(gè)事實(shí)的認(rèn)定，本著“疑罪從無”的原則，如果你要說明一個(gè)人有罪，你必須提供充足的證據(jù)，否則被告人的罪名就不能成立，這個(gè)說法叫“沒有充分的證據(jù)證明被告有罪”。
因此，如果我們最后的結(jié)論是“原假設(shè)”成立，我們一般不這么說，即我們不說“原假設(shè)”成立，我們不說“原假設(shè)”是真的。我們說 不能拒絕“原假設(shè)” ，或者說 沒有充分的證據(jù)拒絕“原假設(shè)” ，或者說 沒有充分的證據(jù)證明“備擇假設(shè)”成立 。
因?yàn)槲覀冏黾僭O(shè)檢驗(yàn)一定是覺得兩個(gè)類別變量有關(guān)系，才去做檢驗(yàn)。再想想那個(gè)“疑罪從無”原則，我們是覺得一個(gè)人有罪，才去舉證。因此卡方檢驗(yàn)的“原假設(shè)”一定是假設(shè)獨(dú)立，“備擇假設(shè)”一定是假設(shè)相關(guān)，即：
這一點(diǎn)是極其重要且明確的，請你一定記住它，在統(tǒng)計(jì)軟件中都是這樣設(shè)定的。
做“檢驗(yàn)”這件事情，就很像我們以前做的“反證法”，我們假定要證明的結(jié)論的對立面成立，然后推出矛盾，即說明了我們的假設(shè)是錯(cuò)誤的，即原命題成立。請看下面這個(gè)例子：
請你證明：這個(gè)餐廳的菜很難吃。
證明：假設(shè)這個(gè)餐廳的菜很好吃，那么周末的晚上生意一定很好，然而實(shí)際觀察下來，顧客流量和平時(shí)一樣，推出矛盾，所以假設(shè)不成立，即這個(gè)餐廳的菜很難吃。
用假設(shè)檢驗(yàn)的思路，在這個(gè)例子中：
原假設(shè)：這個(gè)餐廳的菜很好吃；
備擇假設(shè)：這個(gè)餐廳的菜很難吃。
我們把傾向于要證明的結(jié)論設(shè)置為“備擇假設(shè)”，而推理是基于“原假設(shè)”成立進(jìn)行的，推理得出矛盾，說明“原假設(shè)”錯(cuò)誤，從錯(cuò)誤的起點(diǎn)推出了錯(cuò)誤的結(jié)論，因此“原假設(shè)”不成立，這就是假設(shè)檢驗(yàn)里面說的“拒絕原假設(shè)”。
因此，檢驗(yàn)其實(shí)很簡單，就是一個(gè)是非論證的過程，是單選題，只有兩個(gè)選項(xiàng)，選擇其一。
假設(shè)檢驗(yàn)的論證流程其實(shí)是固定的。論證依據(jù)的事實(shí)是“ 小概率事件在一次試驗(yàn)中幾乎不可能發(fā)生 ”，通常，我們得到的矛盾就在于：通過計(jì)算統(tǒng)計(jì)量，發(fā)現(xiàn)通過一次試驗(yàn)得到這個(gè)統(tǒng)計(jì)量是一個(gè)“小概率事件”，“小概率事件”在一次試驗(yàn)中，居然發(fā)生了，我們就認(rèn)為這是很“詭異”的，一定是之前的某個(gè)環(huán)節(jié)出了問題，即“原假設(shè)”不成立，于是拒絕“原假設(shè)”，即證明了“備擇假設(shè)”成立。
“卡方檢驗(yàn)”即利用“卡方分布”去做“假設(shè)檢驗(yàn)”。
“卡方分布”（也寫作 “ 分布”）是統(tǒng)計(jì)學(xué)領(lǐng)域的三大分布之一，另外兩個(gè)分布是“ 分布”與“ 分布”，這些分布都是由正態(tài)分布推導(dǎo)出來的，可以認(rèn)為它們是我們熟知的分布，因?yàn)樗鼈兛梢匀∧男┲?，以及取這些值的概率都是完全弄清楚了的。
注：忘記了三大分布的朋友們，請一定要翻翻自己本科的教材，看看這些分布用來做什么？為什么出現(xiàn)在“數(shù)理統(tǒng)計(jì)”中，理解使用這些分布是為了從樣本中估計(jì)總體的信息。
統(tǒng)計(jì)學(xué)的研究任務(wù)是通過樣本研究總體，因?yàn)槲覀儫o法把所有的總體都做一次測試，一般可行的做法就是從總體中抽取一部分?jǐn)?shù)據(jù)，根據(jù)對這一部分?jǐn)?shù)據(jù)的研究，推測總體的一些性質(zhì)。
而“三大分布”就是我們研究樣本的時(shí)候選取的參照物。一般我們研究的思路是這樣的：如果經(jīng)過分析，得出待研究的樣本符合這些我們已知的分布之一，因?yàn)槿蠓植际潜晃覀兊慕y(tǒng)計(jì)學(xué)家完全研究透了的，可以認(rèn)為是無比正確的，就可以通過查表得到這些分布的信息，進(jìn)而得到樣本的一些性質(zhì)，幫助我們決策。
這里舉一個(gè)例子，比如你是一個(gè)面試官，你手上掌握著“北京”、“上?！?、“廣州”三個(gè)省市的人才信息庫，來了一個(gè)面試者，從簡歷中得知這個(gè)人來自“北京”，那么我們就可以直接從“北京”市的人才信息庫中查閱到他的詳細(xì)履歷，掌握到他更全面的信息。
上面提到的“北京”、“上?！?、“廣州” 這 3 個(gè)城市的人才信息庫，就相當(dāng)于統(tǒng)計(jì)學(xué)中的三大分布，你不用記住它，你不用隨身攜帶它，但是你可以查閱它，它會告訴你你想知道的信息。
做假設(shè)檢驗(yàn)的時(shí)候，我們也是類似的思路，我們需要利用總體的樣本構(gòu)造出合適的統(tǒng)計(jì)量（或樞軸量），并使其服從或近似地服從已知的確定分布，這樣我們就可以查閱這些確定分布的相關(guān)信息，得到待研究樣本所反映出來的總體的一些性質(zhì)。
上面說到了“統(tǒng)計(jì)量”和“樞軸量”，下面簡單談一談。
如果忘記了的朋友們一定要翻翻以前的教程，“抽樣分布定理”是非常重要的。根據(jù)抽樣分布定理，我們經(jīng)常是這樣用的：樣本的某個(gè)含有未知參數(shù)的函數(shù)符合某個(gè)已知分布，已知分布可以查表，因此未知參數(shù)的性質(zhì)就知道了。求“置信區(qū)間”與做“假設(shè)檢驗(yàn)”通常就是這樣的思路。
說明： 是觀測頻數(shù)（實(shí)際值）， 是期望頻數(shù)（可以認(rèn)為是理論值），期望頻數(shù)的計(jì)算公式我們馬上會介紹到。這個(gè)統(tǒng)計(jì)量服從自由度為 的 分布， 為行數(shù)， 為列數(shù)。
下面舉個(gè)例子，說明卡方檢驗(yàn)的基本流程。
以下例子選自中國人民大學(xué)龍永紅主編《概率論與數(shù)理統(tǒng)計(jì)》（第三版）P190 “獨(dú)立性檢驗(yàn)”一節(jié)例 5.32。
研究青少年行為與家庭狀況的關(guān)系，調(diào)查結(jié)果如下：
分析：“青少年行為”是離散型變量，有“犯罪”與“未犯罪”兩個(gè)取值；“家庭狀況”是也離散型變量，有“離異家庭”與“和睦家庭”兩個(gè)取值，從直覺上，我們認(rèn)為它們是相關(guān)的。因此
上面這張表，我們可以稱之為 觀察頻數(shù)表 ，觀察依據(jù)事實(shí)。下面我們會計(jì)算一張“理論頻數(shù)表”，理論依據(jù)假設(shè)。
原假設(shè)：“青少年行為”與“家庭狀況”獨(dú)立。
備擇假設(shè)：“青少年行為”與“家庭狀況”不獨(dú)立。
要計(jì)算出檢驗(yàn)統(tǒng)計(jì)量，關(guān)鍵是計(jì)算出期望頻數(shù)。我們之前說到了， 假設(shè)檢驗(yàn)是基于原假設(shè)進(jìn)行論證 ，因此我們的期望頻數(shù)應(yīng)該是基于【“青少年行為”與“家庭狀況”獨(dú)立】得到的，即： 兩個(gè)類別的交叉項(xiàng)的概率可以根據(jù)獨(dú)立事件的概率乘法公式 得到 。具體是這樣做的，上面那張表中，把交叉項(xiàng)隱藏起來：
在【“青少年行為”與“家庭狀況”獨(dú)立】這個(gè)假設(shè)下有：
我們要計(jì)算期望頻數(shù)，就把上面這 個(gè)概率分別乘以樣本總數(shù) 就可以了，于是我們得到 理論頻數(shù)表 ：
下面我們就套公式 了，將每個(gè)單元格的 加起來，就可以得到 統(tǒng)計(jì)量：
上面說服從自由度為 的 分布， 為行數(shù)， 為列數(shù)，即服從 的 分布，接下來，我們就要看得到這個(gè)統(tǒng)計(jì)量的概率有多大：
得到圖像如下：
可以看到， 都不在能圖像顯示到的范圍之內(nèi)，說明這個(gè)概率很低。下面我們查表或者使用 Python 查一下，這個(gè)概率是多少：
得到： ，確實(shí)是一個(gè)幾乎為 的數(shù)。這說明了什么呢？
說明了，在我們的假設(shè)【“青少年行為”與“家庭狀況”獨(dú)立】下，得到這組觀測數(shù)據(jù)的概率很低很低，基于bfont size='3' color='ff0000' 小概率事件在一次試驗(yàn)中幾乎不會發(fā)生 /font/b，但它卻發(fā)生了，就證明了我們的“原假設(shè)”是不正確的，即有充分證據(jù)決絕“原假設(shè)”。（這一部分有點(diǎn)繞，其實(shí)很簡單，多看幾遍就非常清楚了。）
其實(shí)到這里，我們對卡方檢驗(yàn)就已經(jīng)介紹完了，是不是覺得很簡單。但是在實(shí)際操作的過程中，我們還會引入 值，很多統(tǒng)計(jì)軟件也會幫我們計(jì)算出 值，這個(gè) 值是個(gè)什么鬼呢？下面先給出我的結(jié)論：
說明：以下我根據(jù)對 值的理解自己總結(jié)的，是人話，但不一定準(zhǔn)確。
得到“檢驗(yàn)統(tǒng)計(jì)量”有個(gè)缺點(diǎn)，就是它是一個(gè)很“死”的數(shù)字，我們看到 ，我們只能直觀感覺它很大，因?yàn)槿绻^察頻數(shù)與理論頻數(shù)大約相等，這個(gè)值應(yīng)該很小，但不能量化這個(gè)值有多大。這只是統(tǒng)計(jì)量服從某個(gè)自由度的卡方分布的情況。
那么問題來了，如果統(tǒng)計(jì)量服從其它分布呢？統(tǒng)計(jì)量這個(gè)干巴巴的數(shù)字，你怎么知道這個(gè)這個(gè)分布取到這個(gè)統(tǒng)計(jì)量的概率有多大？因此還差一步， 我們還必須查表 。所以得到 值的過程就是幫你查表了， 值是一個(gè)概率值，它介于 和 之間， 值是 當(dāng)前分布取到這個(gè)統(tǒng)計(jì)量的概率到當(dāng)前分布極端值（指的是概率很小的極端值）這個(gè)區(qū)間的累計(jì)概率之和 ，即取到這個(gè)值，到比這個(gè)值更“差”的概率之和，如果 值很大，說明統(tǒng)計(jì)量取當(dāng)前值的概率在一個(gè)正常的范圍（一般是認(rèn)為設(shè)定成 ），如果 值很小，說明這個(gè)統(tǒng)計(jì)量取當(dāng)前值的概率也非常小。
特別說明： 對于連續(xù)型隨機(jī)變量來說，取到某個(gè)值的概率其實(shí)是 ，因此上面才用到了對于區(qū)間取概率之和。
說明：上面所說的累積概率之和如果很小，小于一個(gè)臨界值，這個(gè)臨界值我們稱之為“顯著性水平”，用 表示，一般取 。多說一句，這個(gè)顯著性水平其實(shí)是我們在原假設(shè)成立的情況下，拒絕原假設(shè)的概率，即犯第一類錯(cuò)誤的概率，具體就不展開了，請參考相關(guān)《概率論與數(shù)理統(tǒng)計(jì)》教材。
所以我們總結(jié)一下：
1、 值統(tǒng)一了假設(shè)檢驗(yàn)的比較標(biāo)準(zhǔn)，把計(jì)算統(tǒng)計(jì)量的概率大小統(tǒng)一變成計(jì)算 值，如果這個(gè) 值小于一個(gè)預(yù)先設(shè)定好的很小的數(shù)，則拒絕原假設(shè)，如果 值大于這個(gè)預(yù)先設(shè)置好的很小的數(shù)，則說明沒有充分證據(jù)拒絕原假設(shè)；
2、使用 值進(jìn)行假設(shè)檢驗(yàn)的時(shí)候，會更便利。因此，使用 值進(jìn)行假設(shè)檢驗(yàn)的評判標(biāo)準(zhǔn)就只要一個(gè)，就是記住這句話“小拒大接”，即比 小，就拒絕“原假設(shè)”，比 大，結(jié)論是“沒有理由拒絕原假設(shè)”。
值在不同的檢驗(yàn)問題中，計(jì)算的方式會有一些不同，區(qū)別就在于概率極端值是在一側(cè)還是在兩側(cè)。在這里，我們就以卡方檢驗(yàn)為例，如果我們計(jì)算出來的統(tǒng)計(jì)量的值為 ，那么看圖：
這個(gè)時(shí)候，統(tǒng)計(jì)量取 的概率就很高了，從圖中可以看出大于 。我們作如下分析：
（說明：累計(jì)積分和分位點(diǎn)的概念都是十分重要的，在這里就不贅述了，讀者可以查閱相關(guān)統(tǒng)計(jì)學(xué)的教材。）
于是， 對于卡方檢驗(yàn)而言 ，得到的統(tǒng)計(jì)量，我們可以計(jì)算這個(gè)從統(tǒng)計(jì)量到正無窮的積分，如果這個(gè)積分值小于“顯著性水平”，即 認(rèn)為這個(gè)統(tǒng)計(jì)量的概率一定在“顯著性水平”所確定的臨界點(diǎn)的右邊，即它是比“小概率事件”發(fā)生的概率還小的“小概率事件” 。
下面，我們自己寫一個(gè)函數(shù)來實(shí)現(xiàn)卡方檢驗(yàn)相關(guān)的計(jì)算，實(shí)現(xiàn)和 scipy 軟件包提供的卡方檢驗(yàn)同樣的效果。
下面驗(yàn)證我們編寫的卡方檢驗(yàn)函數(shù)的正確性：
顯示：
1、結(jié)合日常生活的例子，了解什么是卡方檢驗(yàn)
2、假設(shè)檢驗(yàn)之八：p值是什么：
基本原理：
卡方檢驗(yàn)就是統(tǒng)計(jì)樣本的實(shí)際觀測值與理論推斷值之間的偏離程度，實(shí)際觀測值與理論推斷值之間的偏離程度就決定卡方值的大小，如果卡方值越大，二者偏差程度越大；反之，二者偏差越??；若兩個(gè)值完全相等時(shí)，卡方值就為0，表明理論值完全符合。
步驟：
（1）提出原假設(shè)：
H0：總體X的分布函數(shù)為F(x).
如果總體分布為離散型，則假設(shè)具體為
H0：總體X的分布律為P{X=xi}=pi， i=1，2，...
（2）將總體X的取值范圍分成k個(gè)互不相交的小區(qū)間A1，A2，A3，…，Ak，如可取
A1=（a0，a1]，A2=(a1，a2]，...，Ak=(ak-1,ak)，
其中a0可取-∞，ak可取+∞，區(qū)間的劃分視具體情況而定，但要使每個(gè)小區(qū)間所含的樣本值個(gè)數(shù)不小于5，而區(qū)間個(gè)數(shù)k不要太大也不要太小。
（3）把落入第i個(gè)小區(qū)間的Ai的樣本值的個(gè)數(shù)記作fi，成為組頻數(shù)（真實(shí)值），所有組頻數(shù)之和f1+f2+...+fk等于樣本容量n。
（4）當(dāng)H0為真時(shí)，根據(jù)所假設(shè)的總體理論分布，可算出總體X的值落入第i 個(gè)小區(qū)間Ai的概率pi，于是，npi就是落入第i個(gè)小區(qū)間Ai的樣本值的理論頻數(shù)（理論值）。
（5）當(dāng)H0為真時(shí)，n次試驗(yàn)中樣本值落入第i個(gè)小區(qū)間Ai的頻率fi/n與概率pi應(yīng)很接近，當(dāng)H0不真時(shí)，則fi/n與pi相差很大?；谶@種思想，皮爾遜引進(jìn)如下檢驗(yàn)統(tǒng)計(jì)量 ，在0假設(shè)成立的情況下服從自由度為k-1的卡方分布。
擴(kuò)展資料：
資料檢驗(yàn)
（自由度df=(C-1)(R-1)）
行×列表資料的卡方檢驗(yàn)用于多個(gè)率或多個(gè)構(gòu)成比的比較。
1. 專用公式：
r行c列表資料卡方檢驗(yàn)的卡方值=n[(A11/n1n1+A12/n1n2+...+Arc/nrnc)-1]
2. 應(yīng)用條件：
要求每個(gè)格子中的理論頻數(shù)T均大于5或1T5的格子數(shù)不超過總格子數(shù)的1/5。當(dāng)有T1或1T5的格子較多時(shí)，可采用并行并列、刪行刪列、增大樣本含量的辦法使其符合行×列表資料卡方檢驗(yàn)的應(yīng)用條件。而多個(gè)率的兩兩比較可采用行X列表分割的辦法。
列聯(lián)表資料檢驗(yàn)
同一組對象，觀察每一個(gè)個(gè)體對兩種分類方法的表現(xiàn)，結(jié)果構(gòu)成雙向交叉排列的統(tǒng)計(jì)表就是列聯(lián)表
1. R*C 列聯(lián)表的卡方檢驗(yàn)：
R*C 列聯(lián)表的卡方檢驗(yàn)用于R*C列聯(lián)表的相關(guān)分析，卡方值的計(jì)算和檢驗(yàn)過程與行×列表資料的卡方檢驗(yàn)相同。
2. 2*2列聯(lián)表的卡方檢驗(yàn)：
2*2列聯(lián)表的卡方檢驗(yàn)又稱配對記數(shù)資料或配對四格表資料的卡方檢驗(yàn)，根據(jù)卡方值計(jì)算公式的不同，可以達(dá)到不同的目的。
當(dāng)用一般四格表的卡方檢驗(yàn)計(jì)算時(shí)，卡方值=n（ad-bc)^2/[(a+b)(c+d)(a+c)(b+d)]，此時(shí)用于進(jìn)行配對四格表的相關(guān)分析，如考察兩種檢驗(yàn)方法的結(jié)果有無關(guān)系；當(dāng)卡方值=（|b-c|-1）2/(b+c)時(shí)，此時(shí)卡方檢驗(yàn)用來進(jìn)行四格表的差異檢驗(yàn)，如考察兩種檢驗(yàn)方法的檢出率有無差別。
列聯(lián)表卡方檢驗(yàn)應(yīng)用中的注意事項(xiàng)同R*C表的卡方檢驗(yàn)相同。
參考資料來源：百度百科-卡方檢驗(yàn)
為什么要叫“卡方”？因?yàn)樵恰癱hi-squared”，一半是音譯，一半是意譯。其中，chi 是希臘字母 的讀音，其實(shí)讀音更像是“開”，而不是“卡”。square表示平方，因此在英語中，卡方分布寫作 distribution。
在理解卡方檢驗(yàn)之前，應(yīng)當(dāng)理解卡方分布?？ǚ椒植际且环N連續(xù)概率分布。
如果一個(gè)隨機(jī)變量 服從標(biāo)準(zhǔn)正態(tài)分布，即 ，那么 就服從自由度為1的卡方分布。記作 或者
而如果 都服從標(biāo)準(zhǔn)正態(tài)分布，那么它們的平方和服從自由度為 的卡方分布，記作：
或者寫作 。
對于非負(fù)自變量 的自由度為 的卡方分布的概率密度函數(shù) (簡稱"pdf")：
（1）為什么 非負(fù)？因?yàn)楦鶕?jù)定義，卡方分布的自變量是一個(gè)平方和。
（2）這里的 是一個(gè)函數(shù)。關(guān)于這個(gè)函數(shù)具體是什么，以及上門的概率密度函數(shù)如何推導(dǎo)，這里不展開，只需要知道有這么個(gè)函數(shù)即可。實(shí)在是好奇的，可以 參考這里 。
（3）卡方分布的均值為 ，而標(biāo)準(zhǔn)差為 。
（4）自由度越大，該函數(shù)圖像越對稱。
（5）為什么這里 需要正態(tài)分布，我的理解是，如果零假設(shè)為真，那么觀測值和期望值之間的波動程度，應(yīng)該是正態(tài)分布的，或者說“噪聲”應(yīng)該是正態(tài)分布的。
卡方檢驗(yàn)有兩個(gè)用途：
擬合優(yōu)度檢驗(yàn) chi-squared test goodness of fit
獨(dú)立性檢驗(yàn) chi-squared test of independence
某新聞?wù)f某個(gè)籃球明星的原地兩連投的單次命中率是0.8，根據(jù)歷次比賽的數(shù)據(jù)匯總得到下面的表格：
意思是說，在比賽中，有5次兩連投是一次都沒中，有82次是在兩連投中命中1次?，F(xiàn)在，我們來用卡方檢驗(yàn)驗(yàn)證新聞?wù)f的0.8的命中率是否正確。零假設(shè)如下：
：兩連投的成功次數(shù)符合二項(xiàng)分布，且概率為
（1）先根據(jù)零假設(shè)計(jì)算“期望”的命中次數(shù)分布：
由于總的觀察次數(shù)為 ，于是在 成立的前提下，可以計(jì)算每種兩連投結(jié)果的期望次數(shù)：
0次命中:
1次命中:
2次命中:
顯然，期望的觀察次數(shù)和實(shí)際的觀察次數(shù)是有偏差的，那么問題在于這個(gè)偏差是否大到具有統(tǒng)計(jì)顯著性，進(jìn)而可以否定零假設(shè)。
（2）我們來構(gòu)造卡方檢驗(yàn)統(tǒng)計(jì)量（chi-squared test statistic）：
這個(gè)值是把表里每個(gè)格子的實(shí)際值和期望值進(jìn)行對比。為什么要用平方？目的在于規(guī)避正負(fù)號的影響。為什么要除以期望值？目的在于消除數(shù)量絕對值的影響。例如你預(yù)算3塊錢的水，商家加價(jià)50元，那么這個(gè)波動是你無法忍受的，而你預(yù)算20萬的車，商家加價(jià)50元，則變得可以忍受。也就是說，除以期望值目的在于聚焦于變化率，而不是變化量。
之后，把這些“變化率”加總得到 。而計(jì)算自由度有一個(gè)公式：
其中 R 表示行數(shù)，C 表示列數(shù)。對于本例：
從另一個(gè)角度解釋為什么 ：前面的定義是如果是 個(gè)符合標(biāo)準(zhǔn)正態(tài)分布的 相加，則自由度是 ，但是這里自有兩個(gè)格子可以自由變化，第三個(gè)格子可以用總觀察數(shù)減出來，例如 。
因此，真正自由的只有2個(gè)格子，所以自由度是2。
好了，將格子的數(shù)據(jù)代入，求出檢驗(yàn)統(tǒng)計(jì)量：
（3）根據(jù)自由度為2的卡方分布，找到檢驗(yàn)統(tǒng)計(jì)量對應(yīng)的位置：
不難理解，隨著統(tǒng)計(jì)量增大，表示預(yù)期的分布和實(shí)際的分布的差異也就越來越大。
另外，由于通常意義上，p值是越小越能推翻零假設(shè)，那么顯然我們需要用右側(cè)的面積來表示p值，這里用Python計(jì)算來代替查表：
輸出：statistic: 17.26, pvalue: 0.0002
由于p值很?。僭O(shè)我們的顯著性水平的0.05），那么我們可以推翻零假設(shè)。
進(jìn)一步的，我們來探索下，該運(yùn)動員的兩連投的成功次數(shù)分?jǐn)?shù)是否真的符合二項(xiàng)分布。零假設(shè)：
：兩連投的成功次數(shù)符合二項(xiàng)分布。
既然符合二項(xiàng)分布，那么我們需要先估算一下最合理的 概率，那當(dāng)然是用總命中數(shù)除以總投籃數(shù)來計(jì)算了：
然后，用該概率值重復(fù)之前的計(jì)算，也就是先計(jì)算出一個(gè)期望的表格：
注意，這里的 ，這是因?yàn)椋覀兠繌臄?shù)據(jù)估計(jì)一個(gè)參數(shù)，那么我們就損失一個(gè)自由度。這里用了一個(gè)平均命中的概率，因此自由度只有 。
這時(shí)候，在使用 Python 進(jìn)行計(jì)算時(shí)，注意調(diào)整默認(rèn)的自由度：
這里的 ddof 就是額外損失的自由度，本意是“delta degree of freedom”
輸出：statistic: 0.34, pvalue: 0.56
可以看到p值很大，因此不足以推翻零假設(shè)，也就是說該運(yùn)動員的投籃命中次數(shù)可能真的是二項(xiàng)分布。
下面表格表示喝酒頻率和與警察發(fā)生麻煩的頻數(shù)。
以第一列為例，表示從不喝酒的人中，4992人不發(fā)生麻煩，71人會發(fā)生麻煩。
現(xiàn)在的問題是，能否從以下數(shù)據(jù)推斷說喝酒頻率和與警察發(fā)生麻煩這兩個(gè)事件相互獨(dú)立？
我們的零假設(shè)應(yīng)該如何設(shè)計(jì)？如果要說明兩者相互獨(dú)立，那么上表的分布應(yīng)該滿足乘法公式。也就是說兩個(gè)獨(dú)立事件一起發(fā)生的概率等于分別發(fā)生的概率之積。
于是我們有：
發(fā)生麻煩的總?cè)藬?shù)除以總?cè)藬?shù)
不喝酒的總?cè)藬?shù)除以總?cè)藬?shù)
進(jìn)一步，根據(jù)總?cè)藬?shù)算出不喝酒而發(fā)生麻煩的人數(shù)的期望（下標(biāo)表示零假設(shè)）：
用類似的算法，計(jì)算每一個(gè)格子在零假設(shè)成立的情況下的值，寫在原表數(shù)據(jù)下的括號里：
仔細(xì)觀察可以看出，其實(shí)每個(gè)格子就是對應(yīng)的：
另外可以看到，零假設(shè)下的各個(gè)格子的行列之和與原來相同。這不是偶然的，我們用字母代替計(jì)算一下就知道了：
于是第一列的兩個(gè)格子應(yīng)該是：
對于其他格子、行的總和，都一樣，這里不多說了。
好，繼續(xù)分析。我們直接用上表計(jì)算卡方統(tǒng)計(jì)量和p值：
這部分計(jì)算方法和擬合優(yōu)度是一樣的，就不贅述了。計(jì)算發(fā)現(xiàn)這個(gè)p值非常小，接近0，因此我們可以推翻零假設(shè)。也就是說，喝酒的頻率和被警察找麻煩的并不是獨(dú)立的，而是相關(guān)的。
關(guān)于獨(dú)立性檢驗(yàn)，有一個(gè)比卡方檢驗(yàn)更精準(zhǔn)的檢驗(yàn)，叫 fisher's exact test。它通過直接計(jì)算否定零假設(shè)的概率，也就直接得到了一個(gè)準(zhǔn)確的p值。有一個(gè)經(jīng)典的女士品茶的統(tǒng)計(jì)學(xué)故事。有一個(gè)女士號稱可以區(qū)分出一杯茶是先倒入了奶還是先倒入了茶。統(tǒng)計(jì)學(xué)家 Fisher 為了驗(yàn)證她的說法，做了一個(gè)實(shí)驗(yàn)。拿了8杯茶，4杯是先茶后奶，4杯是先奶后茶。
實(shí)驗(yàn)結(jié)果是全部說對了。那么問題是，這是否具有統(tǒng)計(jì)顯著性呢？比如說一個(gè)人猜對了一次硬幣，他的預(yù)測能力靠譜嗎？
我們假設(shè)女士的判斷是完全隨機(jī)的，這個(gè)是我們的零假設(shè)。那么8杯里面抽中4杯全對的概率是：
如果顯著性水平是0.01，那么我們不能推翻零假設(shè)，即不敢確定這位女士真有這個(gè)識別能力。如果顯著性水平定在0.05，則我們可以認(rèn)為她確實(shí)有這個(gè)識別能力。
如果讓實(shí)驗(yàn)結(jié)果有更大的說服力呢？一個(gè)簡單的辦法就是增加茶的數(shù)量，比如我們設(shè)定為兩種茶各10杯，要求10杯都判斷正確，那么p值為多少呢？
這個(gè)算起來比較麻煩，這里我寫一個(gè) python 腳本來計(jì)算：
計(jì)算結(jié)果：
這個(gè)p值就小得很夸張了，基本可以斷定零假設(shè)不成立了。
那么，回到實(shí)驗(yàn)本身，如果女士只選對了三杯，那么在零假設(shè)的前提下，這個(gè)發(fā)生的概率是多少？
這個(gè)概率比較大了，原大于通常使用的顯著性水平 0.05，因此我們沒有辦法推翻零假設(shè)。為什么要這樣 乘 呢？這個(gè)是因?yàn)橐还灿羞@么多種取法。你把所有可能的取法羅列處理，就是16種，然后除以總的取法數(shù)，就是隨機(jī)取到這樣結(jié)果的概率。
比較 Fisher's exact test 和 chi-squared test，可以 參考這篇文章 。
一般來說，兩者都適用的情況下，應(yīng)該優(yōu)先選擇 Fisher's exact test，因?yàn)樗蔷_值。如果實(shí)驗(yàn)觀察的數(shù)量很小（小于10），應(yīng)該不使用 chi-squared test。
下面使用一個(gè)腳本來計(jì)算：
重慶分公司
重慶分公司
