R編程語言已經(jīng)成為統(tǒng)計(jì)分析中的事實(shí)標(biāo)準(zhǔn)。但在這篇文章中，我將告訴你在Python中實(shí)現(xiàn)統(tǒng)計(jì)學(xué)概念會是如此容易。我要使用Python實(shí)現(xiàn)一些離散和連續(xù)的概率分布。雖然我不會討論這些分布的數(shù)學(xué)細(xì)節(jié)，但我會以鏈接的方式給你一些學(xué)習(xí)這些統(tǒng)計(jì)學(xué)概念的好資料。在討論這些概率分布之前，我想簡單說說什么是隨機(jī)變量（random variable）。隨機(jī)變量是對一次試驗(yàn)結(jié)果的量化。
網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)！專注于網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、微信小程序開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了寧武免費(fèi)建站歡迎大家使用！
舉個(gè)例子，一個(gè)表示拋硬幣結(jié)果的隨機(jī)變量可以表示成
Python
1
2
X = {1 如果正面朝上,
2 如果反面朝上}
隨機(jī)變量是一個(gè)變量，它取值于一組可能的值（離散或連續(xù)的），并服從某種隨機(jī)性。隨機(jī)變量的每個(gè)可能取值的都與一個(gè)概率相關(guān)聯(lián)。隨機(jī)變量的所有可能取值和與之相關(guān)聯(lián)的概率就被稱為概率分布（probability distributrion）。
我鼓勵(lì)大家仔細(xì)研究一下scipy.stats模塊。
概率分布有兩種類型：離散（discrete）概率分布和連續(xù)（continuous）概率分布。
離散概率分布也稱為概率質(zhì)量函數(shù)（probability mass function）。離散概率分布的例子有伯努利分布（Bernoulli distribution）、二項(xiàng)分布（binomial distribution）、泊松分布（Poisson distribution）和幾何分布（geometric distribution）等。
連續(xù)概率分布也稱為概率密度函數(shù)（probability density function），它們是具有連續(xù)取值（例如一條實(shí)線上的值）的函數(shù)。正態(tài)分布（normal distribution）、指數(shù)分布（exponential distribution）和β分布（beta distribution）等都屬于連續(xù)概率分布。
若想了解更多關(guān)于離散和連續(xù)隨機(jī)變量的知識，你可以觀看可汗學(xué)院關(guān)于概率分布的視頻。
二項(xiàng)分布（Binomial Distribution）
服從二項(xiàng)分布的隨機(jī)變量X表示在n個(gè)獨(dú)立的是/非試驗(yàn)中成功的次數(shù)，其中每次試驗(yàn)的成功概率為p。
E(X) =?np, Var(X) =?np(1?p)
如果你想知道每個(gè)函數(shù)的原理，你可以在IPython筆記本中使用help file命令。?E(X)表示分布的期望或平均值。
鍵入stats.binom?了解二項(xiàng)分布函數(shù)binom的更多信息。
二項(xiàng)分布的例子：拋擲10次硬幣，恰好兩次正面朝上的概率是多少？
假設(shè)在該試驗(yàn)中正面朝上的概率為0.3，這意味著平均來說，我們可以期待有3次是硬幣正面朝上的。我定義擲硬幣的所有可能結(jié)果為k = np.arange(0,11)：你可能觀測到0次正面朝上、1次正面朝上，一直到10次正面朝上。我使用stats.binom.pmf計(jì)算每次觀測的概率質(zhì)量函數(shù)。它返回一個(gè)含有11個(gè)元素的列表（list），這些元素表示與每個(gè)觀測相關(guān)聯(lián)的概率值。
您可以使用.rvs函數(shù)模擬一個(gè)二項(xiàng)隨機(jī)變量，其中參數(shù)size指定你要進(jìn)行模擬的次數(shù)。我讓Python返回10000個(gè)參數(shù)為n和p的二項(xiàng)式隨機(jī)變量。我將輸出這些隨機(jī)變量的平均值和標(biāo)準(zhǔn)差，然后畫出所有的隨機(jī)變量的直方圖。
泊松分布（Poisson Distribution）
一個(gè)服從泊松分布的隨機(jī)變量X，表示在具有比率參數(shù)（rate parameter）λ的一段固定時(shí)間間隔內(nèi)，事件發(fā)生的次數(shù)。參數(shù)λ告訴你該事件發(fā)生的比率。隨機(jī)變量X的平均值和方差都是λ。
E(X) =?λ, Var(X) =?λ
泊松分布的例子：已知某路口發(fā)生事故的比率是每天2次，那么在此處一天內(nèi)發(fā)生4次事故的概率是多少？
讓我們考慮這個(gè)平均每天發(fā)生2起事故的例子。泊松分布的實(shí)現(xiàn)和二項(xiàng)分布有些類似，在泊松分布中我們需要指定比率參數(shù)。泊松分布的輸出是一個(gè)數(shù)列，包含了發(fā)生0次、1次、2次，直到10次事故的概率。我用結(jié)果生成了以下圖片。
你可以看到，事故次數(shù)的峰值在均值附近。平均來說，你可以預(yù)計(jì)事件發(fā)生的次數(shù)為λ。嘗試不同的λ和n的值，然后看看分布的形狀是怎么變化的。
現(xiàn)在我來模擬1000個(gè)服從泊松分布的隨機(jī)變量。
正態(tài)分布（Normal Distribution）
正態(tài)分布是一種連續(xù)分布，其函數(shù)可以在實(shí)線上的任何地方取值。正態(tài)分布由兩個(gè)參數(shù)描述：分布的平均值μ和方差σ2?。
E(X) =?μ, Var(X) =?σ2
正態(tài)分布的取值可以從負(fù)無窮到正無窮。你可以注意到，我用stats.norm.pdf得到正態(tài)分布的概率密度函數(shù)。
β分布（Beta Distribution）
β分布是一個(gè)取值在?[0, 1]?之間的連續(xù)分布，它由兩個(gè)形態(tài)參數(shù)α和β的取值所刻畫。
β分布的形狀取決于α和β的值。貝葉斯分析中大量使用了β分布。
當(dāng)你將參數(shù)α和β都設(shè)置為1時(shí)，該分布又被稱為均勻分布（uniform distribution）。嘗試不同的α和β取值，看看分布的形狀是如何變化的。
指數(shù)分布（Exponential Distribution）
指數(shù)分布是一種連續(xù)概率分布，用于表示獨(dú)立隨機(jī)事件發(fā)生的時(shí)間間隔。比如旅客進(jìn)入機(jī)場的時(shí)間間隔、打進(jìn)客服中心電話的時(shí)間間隔、中文維基百科新條目出現(xiàn)的時(shí)間間隔等等。
我將參數(shù)λ設(shè)置為0.5，并將x的取值范圍設(shè)置為 $[0, 15]$ 。
接著，我在指數(shù)分布下模擬1000個(gè)隨機(jī)變量。scale參數(shù)表示λ的倒數(shù)。函數(shù)np.std中，參數(shù)ddof等于標(biāo)準(zhǔn)偏差除以 $n-1$ 的值。
結(jié)語（Conclusion）
概率分布就像蓋房子的藍(lán)圖，而隨機(jī)變量是對試驗(yàn)事件的總結(jié)。我建議你去看看哈佛大學(xué)數(shù)據(jù)科學(xué)課程的講座，Joe Blitzstein教授給了一份摘要，包含了你所需要了解的關(guān)于統(tǒng)計(jì)模型和分布的全部。
p = 'a/b/c/d'print os.path.relpath(p) #默認(rèn)當(dāng)前目錄開始 相當(dāng)于 ./a/b/c/dprint os.path.relpath(p,'a/b')# 以a/b/目錄開始 c/d你的這個(gè)需求：os.path.relpath(path,'c:\python27')即可
你可以通過print help（norm）來查看里面實(shí)現(xiàn)的功能，介紹的還比較詳細(xì)
最近，Analysis with Programming加入了Planet Python。我這里來分享一下如何通過Python來開始數(shù)據(jù)分析。具體內(nèi)容如下：
數(shù)據(jù)導(dǎo)入
導(dǎo)入本地的或者web端的CSV文件；
數(shù)據(jù)變換；
數(shù)據(jù)統(tǒng)計(jì)描述；
假設(shè)檢驗(yàn)
單樣本t檢驗(yàn)；
可視化；
創(chuàng)建自定義函數(shù)。
數(shù)據(jù)導(dǎo)入
1
這是很關(guān)鍵的一步，為了后續(xù)的分析我們首先需要導(dǎo)入數(shù)據(jù)。通常來說，數(shù)據(jù)是CSV格式，就算不是，至少也可以轉(zhuǎn)換成CSV格式。在Python中，我們的操作如下：
import pandas as pd
# Reading data locally
df = pd.read_csv('/Users/al-ahmadgaidasaad/Documents/d.csv')
# Reading data from web
data_url = ""
df = pd.read_csv(data_url)
為了讀取本地CSV文件，我們需要pandas這個(gè)數(shù)據(jù)分析庫中的相應(yīng)模塊。其中的read_csv函數(shù)能夠讀取本地和web數(shù)據(jù)。
END
數(shù)據(jù)變換
1
既然在工作空間有了數(shù)據(jù)，接下來就是數(shù)據(jù)變換。統(tǒng)計(jì)學(xué)家和科學(xué)家們通常會在這一步移除分析中的非必要數(shù)據(jù)。我們先看看數(shù)據(jù)（下圖）
對R語言程序員來說，上述操作等價(jià)于通過print(head(df))來打印數(shù)據(jù)的前6行，以及通過print(tail(df))來打印數(shù)據(jù)的后6行。當(dāng)然Python中，默認(rèn)打印是5行，而R則是6行。因此R的代碼head(df, n = 10)，在Python中就是df.head(n = 10)，打印數(shù)據(jù)尾部也是同樣道理
請點(diǎn)擊輸入圖片描述
2
在R語言中，數(shù)據(jù)列和行的名字通過colnames和rownames來分別進(jìn)行提取。在Python中，我們則使用columns和index屬性來提取，如下：
# Extracting column names
print df.columns
# OUTPUT
Index([u'Abra', u'Apayao', u'Benguet', u'Ifugao', u'Kalinga'], dtype='object')
# Extracting row names or the index
print df.index
# OUTPUT
Int64Index([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78], dtype='int64')
3
數(shù)據(jù)轉(zhuǎn)置使用T方法，
# Transpose data
print df.T
# OUTPUT
0 ? ? ?1 ? ? 2 ? ? ?3 ? ? 4 ? ? ?5 ? ? 6 ? ? ?7 ? ? 8 ? ? ?9
Abra ? ? ?1243 ? 4158 ?1787 ?17152 ?1266 ? 5576 ? 927 ?21540 ?1039 ? 5424
Apayao ? ?2934 ? 9235 ?1922 ?14501 ?2385 ? 7452 ?1099 ?17038 ?1382 ?10588
Benguet ? ?148 ? 4287 ?1955 ? 3536 ?2530 ? ?771 ?2796 ? 2463 ?2592 ? 1064
Ifugao ? ?3300 ? 8063 ?1074 ?19607 ?3315 ?13134 ?5134 ?14226 ?6842 ?13828
Kalinga ?10553 ?35257 ?4544 ?31687 ?8520 ?28252 ?3106 ?36238 ?4973 ?40140
... ? ? ? 69 ? ? 70 ? ? 71 ? ? 72 ? ? 73 ? ? 74 ? ? 75 ? ? 76 ? ? 77
Abra ? ? ... ? ?12763 ? 2470 ?59094 ? 6209 ?13316 ? 2505 ?60303 ? 6311 ?13345
Apayao ? ... ? ?37625 ?19532 ?35126 ? 6335 ?38613 ?20878 ?40065 ? 6756 ?38902
Benguet ?... ? ? 2354 ? 4045 ? 5987 ? 3530 ? 2585 ? 3519 ? 7062 ? 3561 ? 2583
Ifugao ? ... ? ? 9838 ?17125 ?18940 ?15560 ? 7746 ?19737 ?19422 ?15910 ?11096
Kalinga ?... ? ?65782 ?15279 ?52437 ?24385 ?66148 ?16513 ?61808 ?23349 ?68663
78
Abra ? ? ?2623
Apayao ? 18264
Benguet ? 3745
Ifugao ? 16787
Kalinga ?16900
Other transformations such as sort can be done using codesort/code attribute. Now let's extract a specific column. In Python, we do it using either codeiloc/code or codeix/code attributes, but codeix/code is more robust and thus I prefer it. Assuming we want the head of the first column of the data, we have
4
其他變換，例如排序就是用sort屬性?，F(xiàn)在我們提取特定的某列數(shù)據(jù)。Python中，可以使用iloc或者ix屬性。但是我更喜歡用ix，因?yàn)樗€(wěn)定一些。假設(shè)我們需數(shù)據(jù)第一列的前5行，我們有：
print df.ix[:, 0].head()
# OUTPUT 0 ? ? 1243 1 ? ? 4158 2 ? ? 1787 3 ? ?17152 4 ? ? 1266 Name: Abra, dtype: int64
5
順便提一下，Python的索引是從0開始而非1。為了取出從11到20行的前3列數(shù)據(jù)，我們有
print df.ix[10:20, 0:3]
# OUTPUT
Abra ?Apayao ?Benguet
10 ? ?981 ? ?1311 ? ? 2560
11 ?27366 ? 15093 ? ? 3039
12 ? 1100 ? ?1701 ? ? 2382
13 ? 7212 ? 11001 ? ? 1088
14 ? 1048 ? ?1427 ? ? 2847
15 ?25679 ? 15661 ? ? 2942
16 ? 1055 ? ?2191 ? ? 2119
17 ? 5437 ? ?6461 ? ? ?734
18 ? 1029 ? ?1183 ? ? 2302
19 ?23710 ? 12222 ? ? 2598
20 ? 1091 ? ?2343 ? ? 2654
上述命令相當(dāng)于df.ix[10:20, ['Abra', 'Apayao', 'Benguet']]。
6
為了舍棄數(shù)據(jù)中的列，這里是列1(Apayao)和列2(Benguet)，我們使用drop屬性，如下：
print df.drop(df.columns[[1, 2]], axis = 1).head()
# OUTPUT
Abra ?Ifugao ?Kalinga
0 ? 1243 ? ?3300 ? ?10553
1 ? 4158 ? ?8063 ? ?35257
2 ? 1787 ? ?1074 ? ? 4544
3 ?17152 ? 19607 ? ?31687
4 ? 1266 ? ?3315 ? ? 8520
axis?參數(shù)告訴函數(shù)到底舍棄列還是行。如果axis等于0，那么就舍棄行。
END
統(tǒng)計(jì)描述
1
下一步就是通過describe屬性，對數(shù)據(jù)的統(tǒng)計(jì)特性進(jìn)行描述：
print df.describe()
# OUTPUT
Abra ? ? ? ?Apayao ? ? ?Benguet ? ? ? ?Ifugao ? ? ? Kalinga
count ? ? 79.000000 ? ? 79.000000 ? ?79.000000 ? ? 79.000000 ? ? 79.000000
mean ? 12874.379747 ?16860.645570 ?3237.392405 ?12414.620253 ?30446.417722
std ? ?16746.466945 ?15448.153794 ?1588.536429 ? 5034.282019 ?22245.707692
min ? ? ?927.000000 ? ?401.000000 ? 148.000000 ? 1074.000000 ? 2346.000000
25% ? ? 1524.000000 ? 3435.500000 ?2328.000000 ? 8205.000000 ? 8601.500000
50% ? ? 5790.000000 ?10588.000000 ?3202.000000 ?13044.000000 ?24494.000000
75% ? ?13330.500000 ?33289.000000 ?3918.500000 ?16099.500000 ?52510.500000
max ? ?60303.000000 ?54625.000000 ?8813.000000 ?21031.000000 ?68663.000000
END
假設(shè)檢驗(yàn)
1
Python有一個(gè)很好的統(tǒng)計(jì)推斷包。那就是scipy里面的stats。ttest_1samp實(shí)現(xiàn)了單樣本t檢驗(yàn)。因此，如果我們想檢驗(yàn)數(shù)據(jù)Abra列的稻谷產(chǎn)量均值，通過零假設(shè)，這里我們假定總體稻谷產(chǎn)量均值為15000，我們有：
from scipy import stats as ss
# Perform one sample t-test using 1500 as the true mean
print ss.ttest_1samp(a = df.ix[:, 'Abra'], popmean = 15000)
# OUTPUT
(-1.1281738488299586, 0.26270472069109496)
返回下述值組成的元祖：
t : 浮點(diǎn)或數(shù)組類型t統(tǒng)計(jì)量
prob : 浮點(diǎn)或數(shù)組類型two-tailed p-value 雙側(cè)概率值
2
通過上面的輸出，看到p值是0.267遠(yuǎn)大于α等于0.05，因此沒有充分的證據(jù)說平均稻谷產(chǎn)量不是150000。將這個(gè)檢驗(yàn)應(yīng)用到所有的變量，同樣假設(shè)均值為15000，我們有：
print ss.ttest_1samp(a = df, popmean = 15000)
# OUTPUT
(array([ -1.12817385, ? 1.07053437, -65.81425599, ?-4.564575 ?, ? 6.17156198]),
array([ ?2.62704721e-01, ? 2.87680340e-01, ? 4.15643528e-70,
1.83764399e-05, ? 2.82461897e-08]))
第一個(gè)數(shù)組是t統(tǒng)計(jì)量，第二個(gè)數(shù)組則是相應(yīng)的p值
END
可視化
1
Python中有許多可視化模塊，最流行的當(dāng)屬matpalotlib庫。稍加提及，我們也可選擇bokeh和seaborn模塊。之前的博文中，我已經(jīng)說明了matplotlib庫中的盒須圖模塊功能。
請點(diǎn)擊輸入圖片描述
2
# Import the module for plotting
import matplotlib.pyplot as plt
plt.show(df.plot(kind = 'box'))
現(xiàn)在，我們可以用pandas模塊中集成R的ggplot主題來美化圖表。要使用ggplot，我們只需要在上述代碼中多加一行，
import matplotlib.pyplot as plt
pd.options.display.mpl_style = 'default' # Sets the plotting display theme to ggplot2
df.plot(kind = 'box')
3
這樣我們就得到如下圖表：
請點(diǎn)擊輸入圖片描述
4
比matplotlib.pyplot主題簡潔太多。但是在本文中，我更愿意引入seaborn模塊，該模塊是一個(gè)統(tǒng)計(jì)數(shù)據(jù)可視化庫。因此我們有：
# Import the seaborn library
import seaborn as sns
# Do the boxplot
plt.show(sns.boxplot(df, widths = 0.5, color = "pastel"))
請點(diǎn)擊輸入圖片描述
5
多性感的盒式圖，繼續(xù)往下看。
請點(diǎn)擊輸入圖片描述
6
plt.show(sns.violinplot(df, widths = 0.5, color = "pastel"))
請點(diǎn)擊輸入圖片描述
7
plt.show(sns.distplot(df.ix[:,2], rug = True, bins = 15))
請點(diǎn)擊輸入圖片描述
8
with sns.axes_style("white"):
plt.show(sns.jointplot(df.ix[:,1], df.ix[:,2], kind = "kde"))
請點(diǎn)擊輸入圖片描述
9
plt.show(sns.lmplot("Benguet", "Ifugao", df))
END
創(chuàng)建自定義函數(shù)
在Python中，我們使用def函數(shù)來實(shí)現(xiàn)一個(gè)自定義函數(shù)。例如，如果我們要定義一個(gè)兩數(shù)相加的函數(shù)，如下即可：
def add_2int(x, y):
return x + y
print add_2int(2, 2)
# OUTPUT
4
順便說一下，Python中的縮進(jìn)是很重要的。通過縮進(jìn)來定義函數(shù)作用域，就像在R語言中使用大括號{…}一樣。這有一個(gè)我們之前博文的例子：
產(chǎn)生10個(gè)正態(tài)分布樣本，其中和
基于95%的置信度，計(jì)算和?;
重復(fù)100次; 然后
計(jì)算出置信區(qū)間包含真實(shí)均值的百分比
Python中，程序如下：
import numpy as np
import scipy.stats as ss
def case(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):
m = np.zeros((rep, 4))
for i in range(rep):
norm = np.random.normal(loc = mu, scale = sigma, size = n)
xbar = np.mean(norm)
low = xbar - ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))
up = xbar + ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))
if (mu low) (mu up):
rem = 1
else:
rem = 0
m[i, :] = [xbar, low, up, rem]
inside = np.sum(m[:, 3])
per = inside / rep
desc = "There are " + str(inside) + " confidence intervals that contain "
"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"
return {"Matrix": m, "Decision": desc}
上述代碼讀起來很簡單，但是循環(huán)的時(shí)候就很慢了。下面針對上述代碼進(jìn)行了改進(jìn)，這多虧了?Python專家
import numpy as np
import scipy.stats as ss
def case2(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):
scaled_crit = ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))
norm = np.random.normal(loc = mu, scale = sigma, size = (rep, n))
xbar = norm.mean(1)
low = xbar - scaled_crit
up = xbar + scaled_crit
rem = (mu low) (mu up)
m = np.c_[xbar, low, up, rem]
inside = np.sum(m[:, 3])
per = inside / rep
desc = "There are " + str(inside) + " confidence intervals that contain "
"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"
return {"Matrix": m, "Decision": desc}
重慶分公司
重慶分公司
