Plotly Express 是一個(gè)新的高級 Python 可視化庫：它是 Plotly.py 的高級封裝，它為復(fù)雜的圖表提供了一個(gè)簡單的語法。
創(chuàng)新互聯(lián)公司專業(yè)為企業(yè)提供包河網(wǎng)站建設(shè)、包河做網(wǎng)站、包河網(wǎng)站設(shè)計(jì)、包河網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)與制作、包河企業(yè)網(wǎng)站模板建站服務(wù)，10多年包河做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。
受 Seaborn 和 ggplot2 的啟發(fā)，它專門設(shè)計(jì)為具有簡潔，一致且易于學(xué)習(xí)的 API ：只需一次導(dǎo)入，您就可以在一個(gè)函數(shù)調(diào)用中創(chuàng)建豐富的交互式繪圖，包括分面繪圖（faceting）、地圖、動(dòng)畫和趨勢線。 它帶有數(shù)據(jù)集、顏色面板和主題，就像 Plotly.py 一樣。
Plotly Express 完全免費(fèi)：憑借其寬松的開源 MIT 許可證，您可以隨意使用它（是的，甚至在商業(yè)產(chǎn)品中?。?/p>
最重要的是，Plotly Express 與 Plotly 生態(tài)系統(tǒng)的其他部分完全兼容：在您的 Dash 應(yīng)用程序中使用它，使用 Orca 將您的數(shù)據(jù)導(dǎo)出為幾乎任何文件格式，或使用JupyterLab 圖表編輯器在 GUI 中編輯它們！
用 pip install plotly_express 命令可以安裝 Plotly Express。
一旦導(dǎo)入Plotly Express（通常是 px ），大多數(shù)繪圖只需要一個(gè)函數(shù)調(diào)用，接受一個(gè)整潔的Pandas dataframe，并簡單描述你想要制作的圖。 如果你想要一個(gè)基本的散點(diǎn)圖，它只是 px.scatter（data，x =“column_name”，y =“column_name”）。
以下是內(nèi)置的 Gapminder 數(shù)據(jù)集的示例，顯示2007年按國家/地區(qū)的人均預(yù)期壽命和人均GDP 之間的趨勢：
如果你想通過大陸區(qū)分它們，你可以使用 color 參數(shù)為你的點(diǎn)著色，由 px 負(fù)責(zé)設(shè)置默認(rèn)顏色，設(shè)置圖例等：
這里的每一點(diǎn)都是一個(gè)國家，所以也許我們想要按國家人口來衡量這些點(diǎn)...... 沒問題：這里也有一個(gè)參數(shù)來設(shè)置，它被稱為 size：
如果你好奇哪個(gè)國家對應(yīng)哪個(gè)點(diǎn)？ 可以添加一個(gè) hover_name ，您可以輕松識別任何一點(diǎn)：只需將鼠標(biāo)放在您感興趣的點(diǎn)上即可！ 事實(shí)上，即使沒有 hover_name ，整個(gè)圖表也是互動(dòng)的：
也可以通過 facet_col =”continent“ 來輕松劃分各大洲，就像著色點(diǎn)一樣容易，并且讓我們使用 x軸 對數(shù)（log_x）以便在我們在圖表中看的更清晰：
也許你不僅僅對 2007年 感興趣，而且你想看看這張圖表是如何隨著時(shí)間的推移而演變的。 可以通過設(shè)置 animation_frame=“year” （以及 animation_group =“country” 來標(biāo)識哪些圓與控制條中的年份匹配）來設(shè)置動(dòng)畫。
在這個(gè)最終版本中，讓我們在這里調(diào)整一些顯示，因?yàn)橄瘛癵dpPercap” 這樣的文本有點(diǎn)難看，即使它是我們的數(shù)據(jù)框列的名稱。 我們可以提供更漂亮的“標(biāo)簽” （labels），可以在整個(gè)圖表、圖例、標(biāo)題軸和懸停（hovers）中應(yīng)用。 我們還可以手動(dòng)設(shè)置邊界，以便動(dòng)畫在整個(gè)過程中看起來更棒：
因?yàn)檫@是地理數(shù)據(jù)，我們也可以將其表示為動(dòng)畫地圖，因此這清楚地表明 Plotly Express 不僅僅可以繪制散點(diǎn)圖（不過這個(gè)數(shù)據(jù)集缺少前蘇聯(lián)的數(shù)據(jù)）。
事實(shí)上，Plotly Express 支持三維散點(diǎn)圖、三維線形圖、極坐標(biāo)和地圖上三元坐標(biāo)以及二維坐標(biāo)。 條形圖（Bar）有二維笛卡爾和極坐標(biāo)風(fēng)格。
進(jìn)行可視化時(shí)，您可以使用單變量設(shè)置中的直方圖（histograms）和箱形圖（box）或小提琴圖（violin plots），或雙變量分布的密度等高線圖（density contours）。 大多數(shù)二維笛卡爾圖接受連續(xù)或分類數(shù)據(jù)，并自動(dòng)處理日期/時(shí)間數(shù)據(jù)。 可以查看我們的圖庫 (ref-3) 來了解每個(gè)圖表的例子。
數(shù)據(jù) 探索 的主要部分是理解數(shù)據(jù)集中值的分布，以及這些分布如何相互關(guān)聯(lián)。 Plotly Express 有許多功能來處理這些任務(wù)。
使用直方圖（histograms），箱形圖（box）或小提琴圖（violin plots）可視化單變量分布：
直方圖：
箱形圖：
小提琴圖：
還可以創(chuàng)建聯(lián)合分布圖（marginal rugs），使用直方圖，箱形圖（box）或小提琴來顯示雙變量分布，也可以添加趨勢線。 Plotly Express 甚至可以幫助你在懸?？蛑刑砑泳€條公式和R2值！ 它使用 statsmodels 進(jìn)行普通最小二乘（OLS）回歸或局部加權(quán)散點(diǎn)圖平滑（LOWESS）。
在上面的一些圖中你會注意到一些不錯(cuò)的色標(biāo)。 在 Plotly Express 中， px.colors 模塊包含許多有用的色標(biāo)和序列：定性的、序列型的、離散的、循環(huán)的以及所有您喜歡的開源包：ColorBrewer、cmocean 和 Carto 。 我們還提供了一些功能來制作可瀏覽的樣本供您欣賞（ref-3）：
定性的顏色序列：
眾多內(nèi)置順序色標(biāo)中的一部分：
我們特別為我們的交互式多維圖表感到自豪，例如散點(diǎn)圖矩陣（SPLOMS）、平行坐標(biāo)和我們稱之為并行類別的并行集。 通過這些，您可以在單個(gè)圖中可視化整個(gè)數(shù)據(jù)集以進(jìn)行數(shù)據(jù) 探索 。 在你的Jupyter 筆記本中查看這些單行及其啟用的交互：
散點(diǎn)圖矩陣（SPLOM）允許您可視化多個(gè)鏈接的散點(diǎn)圖：數(shù)據(jù)集中的每個(gè)變量與其他變量的關(guān)系。 數(shù)據(jù)集中的每一行都顯示為每個(gè)圖中的一個(gè)點(diǎn)。 你可以進(jìn)行縮放、平移或選擇操作，你會發(fā)現(xiàn)所有圖都鏈接在一起！
平行坐標(biāo)允許您同時(shí)顯示3個(gè)以上的連續(xù)變量。 dataframe 中的每一行都是一行。 您可以拖動(dòng)尺寸以重新排序它們并選擇值范圍之間的交叉點(diǎn)。
并行類別是并行坐標(biāo)的分類模擬：使用它們可視化數(shù)據(jù)集中多組類別之間的關(guān)系。
Plotly Express 之于 Plotly.py 類似 Seaborn 之于 matplotlib：Plotly Express 是一個(gè)高級封裝庫，允許您快速創(chuàng)建圖表，然后使用底層 API 和生態(tài)系統(tǒng)的強(qiáng)大功能進(jìn)行修改。 對于Plotly 生態(tài)系統(tǒng)，這意味著一旦您使用 Plotly Express 創(chuàng)建了一個(gè)圖形，您就可以使用Themes，使用 FigureWidgets 進(jìn)行命令性編輯，使用 Orca 將其導(dǎo)出為幾乎任何文件格式，或者在我們的 GUI JupyterLab 圖表編輯器中編輯它 。
主題（Themes）允許您控制圖形范圍的設(shè)置，如邊距、字體、背景顏色、刻度定位等。 您可以使用模板參數(shù)應(yīng)用任何命名的主題或主題對象：
有三個(gè)內(nèi)置的 Plotly 主題可以使用， 分別是 plotly， plotlywhite 和 plotlydark。
px 輸出繼承自 Plotly.py 的 Figure 類 ExpressFigure 的對象，這意味著你可以使用任何 Figure 的訪問器和方法來改變 px生成的繪圖。 例如，您可以將 .update（） 調(diào)用鏈接到 px 調(diào)用以更改圖例設(shè)置并添加注釋。 .update（） 現(xiàn)在返回修改后的數(shù)字，所以你仍然可以在一個(gè)很長的 Python 語句中執(zhí)行此操作：
在這里，在使用 Plotly Express 生成原始圖形之后，我們使用 Plotly.py 的 API 來更改一些圖例設(shè)置并添加注釋。
Dash 是 Plotly 的開源框架，用于構(gòu)建具有 Plotly.py 圖表的分析應(yīng)用程序和儀表板。Plotly Express 產(chǎn)生的對象與 Dash 100％兼容，只需將它們直接傳遞到 dash_core_components.Graph，如下所示： dcc.Graph（figure = px.scatter（...））。 這是一個(gè)非常簡單的 50行 Dash 應(yīng)用程序的示例，它使用 px 生成其中的圖表：
這個(gè) 50 行的 Dash 應(yīng)用程序使用 Plotly Express 生成用于瀏覽數(shù)據(jù)集的 UI 。
可視化數(shù)據(jù)有很多原因：有時(shí)您想要提供一些想法或結(jié)果，并且您希望對圖表的每個(gè)方面施加很多控制，有時(shí)您希望快速查看兩個(gè)變量之間的關(guān)系。 這是交互與 探索 的范疇。
Plotly.py 已經(jīng)發(fā)展成為一個(gè)非常強(qiáng)大的可視化交互工具：它可以讓你控制圖形的幾乎每個(gè)方面，從圖例的位置到刻度的長度。 不幸的是，這種控制的代價(jià)是冗長的：有時(shí)可能需要多行 Python 代碼才能用 Plotly.py 生成圖表。
我們使用 Plotly Express 的主要目標(biāo)是使 Plotly.py 更容易用于 探索 和快速迭代。
我們想要構(gòu)建一個(gè)庫，它做出了不同的權(quán)衡：在可視化過程的早期犧牲一些控制措施來換取一個(gè)不那么詳細(xì)的 API，允許你在一行 Python 代碼中制作各種各樣的圖表。 然而，正如我們上面所示，該控件并沒有消失：你仍然可以使用底層的 Plotly.py 的 API 來調(diào)整和優(yōu)化用 Plotly Express 制作的圖表。
支持這種簡潔 API 的主要設(shè)計(jì)決策之一是所有 Plotly Express 的函數(shù)都接受“整潔”的 dataframe 作為輸入。 每個(gè) Plotly Express 函數(shù)都體現(xiàn)了dataframe 中行與單個(gè)或分組標(biāo)記的清晰映射，并具有圖形啟發(fā)的語法簽名，可讓您直接映射這些標(biāo)記的變量，如 x 或 y 位置、顏色、大小、 facet-column 甚至是 動(dòng)畫幀到數(shù)據(jù)框（dataframe）中的列。 當(dāng)您鍵入 px.scatter（data，x ='col1'，y='col2'） 時(shí)，Plotly Express 會為數(shù)據(jù)框中的每一行創(chuàng)建一個(gè)小符號標(biāo)記 - 這就是 px.scatter 的作用 - 并將 “col1” 映射到 x 位置（類似于 y 位置）。 這種方法的強(qiáng)大之處在于它以相同的方式處理所有可視化變量：您可以將數(shù)據(jù)框列映射到顏色，然后通過更改參數(shù)來改變您的想法并將其映射到大小或進(jìn)行行分面（facet-row）。
接受整個(gè)整潔的 dataframe 的列名作為輸入（而不是原始的 numpy 向量）也允許 px 為你節(jié)省大量的時(shí)間，因?yàn)樗懒械拿Q，它可以生成所有的 Plotly.py 配置用于標(biāo)記圖例、軸、懸?？?、構(gòu)面甚至動(dòng)畫幀。 但是，如上所述，如果你的 dataframe 的列被笨拙地命名，你可以告訴 px 用每個(gè)函數(shù)的 labels 參數(shù)替換更好的。
僅接受整潔輸入所帶來的最終優(yōu)勢是它更直接地支持快速迭代：您整理一次數(shù)據(jù)集，從那里可以使用 px 創(chuàng)建數(shù)十種不同類型的圖表，包括在 SPLOM 中可視化多個(gè)維度 、使用平行坐標(biāo)、在地圖上繪制，在二維、三維極坐標(biāo)或三維坐標(biāo)中使用等，所有這些都不需要重塑您的數(shù)據(jù)！
在 API 級別，我們在 px 中投入了大量的工作，以確保所有參數(shù)都被命名，以便在鍵入時(shí)最大限度地發(fā)現(xiàn)：所有 scatter -類似的函數(shù)都以 scatter 開頭（例如 scatter_polar， scatter_ternary）所以你可以通過自動(dòng)補(bǔ)全來發(fā)現(xiàn)它們。 我們選擇拆分這些不同的散點(diǎn)圖函數(shù)，因此每個(gè)散點(diǎn)圖函數(shù)都會接受一組定制的關(guān)鍵字參數(shù)，特別是它們的坐標(biāo)系。 也就是說，共享坐標(biāo)系的函數(shù)集（例如 scatter， line ＆ bar，或 scatter_polar， line_polar 和 bar_polar ）也有相同的參數(shù)，以最大限度地方便學(xué)習(xí)。 我們還花了很多精力來提出簡短而富有表現(xiàn)力的名稱，這些名稱很好地映射到底層的 Plotly.py 屬性，以便于在工作流程中稍后調(diào)整到交互的圖表中。
最后，Plotly Express 作為一個(gè)新的 Python 可視化庫，在 Plotly 生態(tài)系統(tǒng)下，將會迅速發(fā)展。所以不要猶豫，立即開始使用 Plotly Express 吧！
python3 當(dāng)中filter map zip本身就已經(jīng)是generator了
所以不再需要特殊的i版本
ols方法得出函數(shù)：根據(jù)少量數(shù)據(jù)找出函數(shù)關(guān)系，一般用待定系數(shù)法或線性代數(shù)法。
正比例函數(shù)只要一組數(shù)據(jù)，一次函數(shù)要兩組數(shù)據(jù)，二次函數(shù)通常要三組數(shù)據(jù)，利用最小二乘法可以簡便地求得未知的數(shù)據(jù)，并使得所選擇的回歸模型應(yīng)該使所有觀察值的殘差平方和達(dá)到最小。
函數(shù)的近代定義
給定一個(gè)數(shù)集A，假設(shè)其中的元素為x，對A中的元素x施加對應(yīng)法則f，記作f（x），得到另一數(shù)集B，假設(shè)B中的元素為y，則y與x之間的等量關(guān)系可以用y=f（x）表示，函數(shù)概念含有三個(gè)要素：定義域A、值域B和對應(yīng)法則f。其中核心是對應(yīng)法則f，它是函數(shù)關(guān)系的本質(zhì)特征。
regstats(y1,x1,'linear','tstat');
c1=ans.tstat.beta(1,1);
beta1=ans.tstat.beta(2,1);
t1=ans.tstat.t(2,1);
c1是常數(shù)項(xiàng)，beta1是回歸系數(shù)，t1就是beta1的t值，這里是單變量線性回歸
普通最小二乘法（OLS）方法的原理是：
利用最小二乘法可以簡便地求得未知的數(shù)據(jù)，并使得所選擇的回歸模型應(yīng)該使所有觀察值的殘差平方和達(dá)到最小。具體驗(yàn)證如下：
樣本回歸模型：
其中ei為樣本（Xi,Yi）的誤差。
平方損失函數(shù)：
則通過Q最小確定這條直線，即確定β0和β1，把它們看作是Q的函數(shù)，就變成了一個(gè)求極值的問題，可以通過求導(dǎo)數(shù)得到。求Q對兩個(gè)待估參數(shù)的偏導(dǎo)數(shù)：
根據(jù)數(shù)學(xué)知識我們知道，函數(shù)的極值點(diǎn)為偏導(dǎo)為0的點(diǎn)。
解得：
這就是最小二乘法的解法，就是求得平方損失函數(shù)的極值點(diǎn)。
擴(kuò)展資料
最小二乘法來源于19世紀(jì)意大利天文學(xué)家朱賽普·皮亞齊的一次發(fā)現(xiàn)，后由勒讓德或高斯發(fā)明。
1801年，意大利天文學(xué)家朱賽普·皮亞齊發(fā)現(xiàn)了第一顆小行星谷神星。經(jīng)過40天的跟蹤觀測后，由于谷神星運(yùn)行至太陽背后，使得皮亞齊失去了谷神星的位置。隨后全世界的科學(xué)家利用皮亞齊的觀測數(shù)據(jù)開始尋找谷神星，但是根據(jù)大多數(shù)人計(jì)算的結(jié)果來尋找谷神星都沒有結(jié)果。
時(shí)年24歲的高斯也計(jì)算了谷神星的軌道。奧地利天文學(xué)家海因里希·奧爾伯斯根據(jù)高斯計(jì)算出來的軌道重新發(fā)現(xiàn)了谷神星。
高斯使用的最小二乘法的方法發(fā)表于1809年他的著作《天體運(yùn)動(dòng)論》中。
法國科學(xué)家勒讓德于1806年獨(dú)立發(fā)明“最小二乘法”，但因不為世人所知而默默無聞。
勒讓德曾與高斯為誰最早創(chuàng)立最小二乘法原理發(fā)生爭執(zhí)。
1829年，高斯提供了最小二乘法的優(yōu)化效果強(qiáng)于其他方法的證明，因此被稱為高斯-馬爾可夫定理。
參考資料來源：百度百科-最小二乘法
利用python進(jìn)行線性回歸
理解什么是線性回歸
線性回歸也被稱為最小二乘法回歸（Linear Regression, also called Ordinary Least-Squares (OLS) Regression）。它的數(shù)學(xué)模型是這樣的：
y = a+ b* x＋e
其中，a 被稱為常數(shù)項(xiàng)或截距；b 被稱為模型的回歸系數(shù)或斜率；e 為誤差項(xiàng)。a 和 b 是模型的參數(shù)。
當(dāng)然，模型的參數(shù)只能從樣本數(shù)據(jù)中估計(jì)出來：
y'= a' + b'* x
我們的目標(biāo)是選擇合適的參數(shù)，讓這一線性模型最好地?cái)M合觀測值。擬合程度越高，模型越好。
那么，接下來的問題就是，我們?nèi)绾闻袛鄶M合的質(zhì)量呢？
這一線性模型可以用二維平面上的一條直線來表示，被稱為回歸線。
模型的擬合程度越高，也即意味著樣本點(diǎn)圍繞回歸線越緊密。
如何計(jì)算樣本點(diǎn)與回歸線之間的緊密程度呢？
高斯和勒讓德找到的方法是：被選擇的參數(shù)，應(yīng)該使算出來的回歸線與觀測值之差的平房和最小。用函數(shù)表示為：
這被稱為最小二乘法。最小二乘法的原理是這樣的：當(dāng)預(yù)測值和實(shí)際值距離的平方和最小時(shí)，就選定模型中的兩個(gè)參數(shù)（a 和 b）。這一模型并不一定反映解釋變量和反應(yīng)變量真實(shí)的關(guān)系。但它的計(jì)算成本低；相比復(fù)雜模型更容易解釋。
模型估計(jì)出來后，我們要回答的問題是：
我們的模型擬合程度如何？或者說，這個(gè)模型對因變量的解釋力如何？（R2）
整個(gè)模型是否能顯著預(yù)測因變量的變化？（F 檢驗(yàn)）
每個(gè)自變量是否能顯著預(yù)測因變量的變化？（t 檢驗(yàn)）
首先回答第一個(gè)問題。為了評估模型的擬合程度如何，我們必須有一個(gè)可以比較的基線模型。
如果讓你預(yù)測一個(gè)人的體重是多少？在沒有任何額外信息的情況下，你可能會用平均值來預(yù)測，盡管會存在一定誤差，但總比瞎猜好。
現(xiàn)在，如果你知道他的身高信息，你的預(yù)測值肯定與平均值不一樣。額外信息相比平均值更能準(zhǔn)確地預(yù)測被預(yù)測的變量的能力，就代表模型的解釋力大小。
上圖中，SSA 代表由自變量 x 引起的 y 的離差平方和，即回歸平方和，代表回歸模型的解釋力；SSE 代表由隨機(jī)因素引起的 y 的離差平方和，即剩余平方和，代表回歸模型未能解釋的部分；SST 為總的離差平方和，即我們僅憑 y 的平均值去估計(jì) y 時(shí)所產(chǎn)生的誤差。
用模型能夠解釋的變異除以總的變異就是模型的擬合程度：
R2=SSA/SST=1-SSE
R2（R 的平方）也被稱為決定系數(shù)或判定系數(shù)。
第二個(gè)問題，我們的模型是否顯著預(yù)測了 y 的變化？
假設(shè) y 與 x 的線性關(guān)系不明顯，那么 SSA 相對 SSE 占有較大的比例的概率則越小。換句話說，在 y 與 x 無線性關(guān)系的前提下，SSA 相對 SSE 的占比越高的概率是越小的，這會呈現(xiàn)一定的概率分布。統(tǒng)計(jì)學(xué)家告訴我們它滿足 F 分布，就像這樣：
如果 SSA 相對 SSE 占比較大的情況出現(xiàn)了，比如根據(jù) F 分布，這個(gè)值出現(xiàn)的概率小于 5%。那么，我們最好是拒絕 y 與 x 線性關(guān)系不顯著的原始假設(shè)，認(rèn)為二者存在顯著的線性關(guān)系較為合適。
第三個(gè)問題，每個(gè)自變量是否能顯著預(yù)測因變量的變化？換句話說，回歸系數(shù)是否顯著？
回歸系數(shù)的顯著性檢驗(yàn)是圍繞回歸系數(shù)的抽樣分布（t 分布）來進(jìn)行的，推斷過程類似于整個(gè)模型的檢驗(yàn)過程，不贅言。
實(shí)際上，對于只有一個(gè)自變量的一元線性模型，模型的顯著性檢驗(yàn)和回歸系數(shù)的檢驗(yàn)是一致的，但對于多元線性模型來說，二者就不能等價(jià)了。
利用 statsmodels 進(jìn)行最小二乘回歸
＃導(dǎo)入相應(yīng)模塊
In [1]: import numpy as np
In [2]: import pandas as pd
In [3]: import statsmodels.api as sm
＃將數(shù)據(jù)導(dǎo)入 pandas 的 dataframe 對象，第一列（年份）作為行標(biāo)簽
In [4]: df=pd.read_csv('/Users/xiangzhendong/Downloads/vincentarelbundock-Rdatasets-1218370/csv/datasets/longley.csv', index_col=0)
＃查看頭部數(shù)據(jù)
In [5]: df.head()
Out[5]:
GNP.deflator ? ? ?GNP ?Unemployed ?Armed.Forces ?Population ?Year ?\
1947 ? ? ? ? ?83.0 ?234.289 ? ? ? 235.6 ? ? ? ? 159.0 ? ? 107.608 ?1947
1948 ? ? ? ? ?88.5 ?259.426 ? ? ? 232.5 ? ? ? ? 145.6 ? ? 108.632 ?1948
1949 ? ? ? ? ?88.2 ?258.054 ? ? ? 368.2 ? ? ? ? 161.6 ? ? 109.773 ?1949
1950 ? ? ? ? ?89.5 ?284.599 ? ? ? 335.1 ? ? ? ? 165.0 ? ? 110.929 ?1950
1951 ? ? ? ? ?96.2 ?328.975 ? ? ? 209.9 ? ? ? ? 309.9 ? ? 112.075 ?1951
Employed
1947 ? ?60.323
1948 ? ?61.122
1949 ? ?60.171
1950 ? ?61.187
1951 ? ?63.221
＃設(shè)置預(yù)測變量和結(jié)果變量，用 GNP 預(yù)測 Employed
In [6]: y=df.Employed ＃結(jié)果變量
In [7]: X=df.GNP ＃預(yù)測變量
＃為模型增加常數(shù)項(xiàng)，即回歸線在 y 軸上的截距
In [8]: X=sm.add_constant(X)
＃執(zhí)行最小二乘回歸，X 可以是 numpy array 或 pandas dataframe（行數(shù)等于數(shù)據(jù)點(diǎn)個(gè)數(shù)，列數(shù)為預(yù)測變量個(gè)數(shù)），y 可以是一維數(shù)組（numpy array）或 pandas series
In [10]: est=sm.OLS(y,X)
使用 OLS 對象的 fit() 方法來進(jìn)行模型擬合
In [11]: est=est.fit()
＃查看模型擬合的結(jié)果
In [12]: est.summary()
Out[12]:
＃查看最終模型的參數(shù)
In [13]: est.params
Out[13]:
const ? ?51.843590
GNP ? ? ? 0.034752
dtype: float64
＃選擇 100 個(gè)從最小值到最大值平均分布（equally spaced）的數(shù)據(jù)點(diǎn)
In [14]: X_prime=np.linspace(X.GNP.min(), X.GNP.max(),100)[:,np.newaxis]
In [15]: X_prime=sm.add_constant(X_prime)
＃計(jì)算預(yù)測值
In [16]: y_hat=est.predict(X_prime)
In [17]: plt.scatter(X.GNP, y, alpha=0.3) ＃畫出原始數(shù)據(jù)
＃分別給 x 軸和 y 軸命名
In [18]: plt.xlabel("Gross National Product")
In [19]: plt.ylabel("Total Employment")
In [20]: plt.plot(X_prime[:,1], y_hat, 'r', alpha=0.9) ＃添加回歸線，紅色
多元線性回歸（預(yù)測變量不止一個(gè)）
我們用一條直線來描述一元線性模型中預(yù)測變量和結(jié)果變量的關(guān)系，而在多元回歸中，我們將用一個(gè)多維（p）空間來擬合多個(gè)預(yù)測變量。下面表現(xiàn)了兩個(gè)預(yù)測變量的三維圖形：商品的銷量以及在電視和廣播兩種不同媒介的廣告預(yù)算。
數(shù)學(xué)模型是：
Sales = beta_0 + beta_1＊TV + beta_2＊Radio
圖中，白色的數(shù)據(jù)點(diǎn)是平面上的點(diǎn)，黑色的數(shù)據(jù)點(diǎn)事平面下的點(diǎn)。平面的顏色是由對應(yīng)的商品銷量的高低決定的，高是紅色，低是藍(lán)色。
利用 statsmodels 進(jìn)行多元線性回歸
In [1]: import pandas as pd
In [2]: import numpy as np
In [3]: import statsmodels.api as sm
In [4]: df_adv=pd.read_csv('g.csv',index_col=0)
In [6]: X=df_adv[['TV','Radio']]
In [7]: y=df_adv['Sales']
In [8]: df_adv.head()
Out[8]:
TV ?Radio ?Newspaper ?Sales
1 ?230.1 ? 37.8 ? ? ? 69.2 ? 22.1
2 ? 44.5 ? 39.3 ? ? ? 45.1 ? 10.4
3 ? 17.2 ? 45.9 ? ? ? 69.3 ? ?9.3
4 ?151.5 ? 41.3 ? ? ? 58.5 ? 18.5
5 ?180.8 ? 10.8 ? ? ? 58.4 ? 12.9
In [9]: X=sm.add_constant(X)
In [10]: est=sm.OLS(y,X).fit()
In [11]: est.summary()
Out[11]:
你也可以使用 statsmodels 的 formula 模塊來建立多元回歸模型
In [12]: import statsmodels.formula.api as smf
In [13]: est=smf.ols(formula='Sales ~ TV + Radio',data=df_adv).fit()
處理分類變量
性別或地域都屬于分類變量。
In [15]: df= pd.read_csv('httd.edu/~tibs/ElemStatLearn/datasets/SAheart.data', index_col=0)
In [16]: X=df.copy()
利用 dataframe 的 pop 方法將 chd 列單獨(dú)提取出來
In [17]: y=X.pop('chd')
In [18]: df.head()
Out[18]:
sbp ?tobacco ? ldl ?adiposity ?famhist ?typea ?obesity ?alcohol ?\
row.names
1 ? ? ? ? ?160 ? ?12.00 ?5.73 ? ? ?23.11 ?Present ? ? 49 ? ?25.30 ? ?97.20
2 ? ? ? ? ?144 ? ? 0.01 ?4.41 ? ? ?28.61 ? Absent ? ? 55 ? ?28.87 ? ? 2.06
3 ? ? ? ? ?118 ? ? 0.08 ?3.48 ? ? ?32.28 ?Present ? ? 52 ? ?29.14 ? ? 3.81
4 ? ? ? ? ?170 ? ? 7.50 ?6.41 ? ? ?38.03 ?Present ? ? 51 ? ?31.99 ? ?24.26
5 ? ? ? ? ?134 ? ?13.60 ?3.50 ? ? ?27.78 ?Present ? ? 60 ? ?25.99 ? ?57.34
age ?chd
row.names
1 ? ? ? ? ? 52 ? ?1
2 ? ? ? ? ? 63 ? ?1
3 ? ? ? ? ? 46 ? ?0
4 ? ? ? ? ? 58 ? ?1
5 ? ? ? ? ? 49 ? ?1
In [19]: y.groupby(X.famhist).mean()
Out[19]:
famhist
Absent ? ? 0.237037
Present ? ?0.500000
Name: chd, dtype: float64
In [20]: import statsmodels.formula.api as smf
In [21]: df['famhist_ord']=pd.Categorical(df.famhist).labels
In [22]: est=smf.ols(formula="chd ~ famhist_ord", data=df).fit()
分類變量的編碼方式有許多，其中一種編碼方式是虛擬變量編碼（dummy－encoding），就是把一個(gè) k 個(gè)水平的分類變量編碼成 k－1 個(gè)二分變量。在 statsmodels 中使用 C 函數(shù)實(shí)現(xiàn)。
In [24]: est=smf.ols(formula="chd ~ C(famhist)", data=df).fit()
In [26]: est.summary()
Out[26]:
處理交互作用
隨著教育年限（education）的增長，薪酬 (wage) 會增加嗎？這種影響對男性和女性而言是一樣的嗎？
這里的問題就涉及性別與教育年限的交互作用。
換言之，教育年限對薪酬的影響是男女有別的。
＃導(dǎo)入相關(guān)模塊
In [1]: import pandas as pd
In [2]: import numpy as np
In [4]: import statsmodels.api as sm
＃導(dǎo)入數(shù)據(jù)，存入 dataframe 對象
In [5]: df=pd.read_csv('/Users/xiangzhendong/Downloads/pydatafromweb/wages.csv')
In [6]: df[['Wage','Education','Sex']].tail()
Out[6]:
Wage ?Education ?Sex
529 ?11.36 ? ? ? ? 18 ? ?0
530 ? 6.10 ? ? ? ? 12 ? ?1
531 ?23.25 ? ? ? ? 17 ? ?1
532 ?19.88 ? ? ? ? 12 ? ?0
533 ?15.38 ? ? ? ? 16 ? ?0
由于性別是一個(gè)二分變量，我們可以繪制兩條回歸線，一條是 sex＝0（男性），一條是 sex＝1（女性）
＃繪制散點(diǎn)圖
In [7]: plt.scatter(df.Education,df.Wage, alpha=0.3)
In [9]: plt.xlabel('education')
In [10]: plt.ylabel('wage')
＃linspace 的作用是生成從最小到最大的均勻分布的 n 個(gè)數(shù)
In [17]: education_linspace=np.linspace(df.Education.min(), df.Education.max(),100)
In [12]: import statsmodels.formula.api as smf
In [13]: est=smf.ols(formula='Wage ~ Education + Sex', data=df).fit()
In [18]: plt.plot(education_linspace, est.params[0]+est.params[1]education_linspace+est.params[2]0, 'r')
In [19]: plt.plot(education_linspace, est.params[0]+est.params[1]education_linspace+est.params[2]1, 'g')
以上兩條線是平行的。這是因?yàn)榉诸愖兞恐挥绊懟貧w線的截距，不影響斜率。
接下來我們可以為回歸模型增加交互項(xiàng)來探索交互效應(yīng)。也就是說，對于兩個(gè)類別，回歸線的斜率是不一樣的。
In [32]: plt.scatter(df.Education,df.Wage, alpha=0.3)
In [33]: plt.xlabel('education')
In [34]: plt.ylabel('wage')
＃使用＊代表我們的回歸模型中除了交互效應(yīng)，也包括兩個(gè)變量的主效應(yīng)；如果只想看交互效應(yīng)，可以用：代替，但通常不會只看交互效應(yīng)
In [35]: est=smf.ols(formula='Wage ~ Sex*Education', data=df).fit()
In [36]: plt.plot(education_linspace, est.params[0]+est.params[1]0+est.params[2]education_linspace+est.params[3]0education_linspace, 'r')
In [37]: plt.plot(education_linspace, est.params[0]+est.params[1]1+est.params[2]education_linspace+est.params[3]1education_linspace, 'g')
參考資料：
DataRobot | Ordinary Least Squares in Python
DataRoboe | Multiple Regression using Statsmodels
AnalyticsVidhya | 7 Types of Regression Techniques you should know!
重慶分公司
重慶分公司
