這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)?lái)有關(guān)使用Python加速數(shù)據(jù)分析的10個(gè)簡(jiǎn)單技巧分別是什么,文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。
主要從事網(wǎng)頁(yè)設(shè)計(jì)、PC網(wǎng)站建設(shè)(電腦版網(wǎng)站建設(shè))、wap網(wǎng)站建設(shè)(手機(jī)版網(wǎng)站建設(shè))、自適應(yīng)網(wǎng)站建設(shè)、程序開發(fā)、微網(wǎng)站、微信小程序定制開發(fā)等,憑借多年來(lái)在互聯(lián)網(wǎng)的打拼,我們?cè)诨ヂ?lián)網(wǎng)網(wǎng)站建設(shè)行業(yè)積累了豐富的網(wǎng)站制作、成都網(wǎng)站建設(shè)、網(wǎng)絡(luò)營(yíng)銷經(jīng)驗(yàn),集策劃、開發(fā)、設(shè)計(jì)、營(yíng)銷、管理等多方位專業(yè)化運(yùn)作于一體,具備承接不同規(guī)模與類型的建設(shè)項(xiàng)目的能力。
提示和技巧,尤其是在編程領(lǐng)域,可能是非常有用的。有時(shí),一個(gè)小技巧可以節(jié)省時(shí)間和生命。一個(gè)小的快捷方式或附加組件有時(shí)會(huì)被證明是天賜之物,并能真正提高生產(chǎn)力。因此,下面是我最喜歡的一些提示和技巧,我將它們以本文的形式一起使用和編譯。有些可能是我們相當(dāng)熟悉的,有些可能是新的,但我確信它們將在你下一次處理數(shù)據(jù)分析項(xiàng)目時(shí)派上用場(chǎng)。
1.分析pandas數(shù)據(jù)幀
Profiling(分析)是一個(gè)幫助我們理解數(shù)據(jù)的過(guò)程,而Pandas Profiling就是執(zhí)行這一過(guò)程的python包。這是一種對(duì)Pandas Dataframe(數(shù)據(jù)幀)進(jìn)行探索性數(shù)據(jù)分析的簡(jiǎn)便、快速的方法。Pandas的df.describe()和df.info()函數(shù)通常用作EDA過(guò)程的第一步。但是,它只提供了一個(gè)非?;镜臄?shù)據(jù)概覽,對(duì)于大型數(shù)據(jù)集的情況并沒(méi)有多大幫助。另一方面,Pandas Profiling(分析)函數(shù)使用df.profile_report()對(duì)pandas數(shù)據(jù)幀進(jìn)行了擴(kuò)展,以便快速進(jìn)行數(shù)據(jù)分析。它用一行代碼顯示了很多信息,在交互式HTML報(bào)告中也是如此。
對(duì)于一個(gè)給定的數(shù)據(jù)集,pandas profiling(分析)包會(huì)計(jì)算以下統(tǒng)計(jì)數(shù)據(jù):
Pandas Profiling 包計(jì)算出的統(tǒng)計(jì)數(shù)據(jù)。
安裝
用法
我們來(lái)使用古老的titanic數(shù)據(jù)集來(lái)演示多功能python分析器的功能。
編者注:本文發(fā)布一周后,Pandas-Profiling發(fā)布了一個(gè)重大的升級(jí)版本——2.0.0。語(yǔ)法發(fā)生了一些變化,事實(shí)上,它的功能已經(jīng)包含在pandas本身中了,并且報(bào)告也變得更加全面。下面是最新的用法語(yǔ)法:
Usage
要在 Jupyter notebook中顯示報(bào)告,請(qǐng)運(yùn)行以下代碼:
你只需要這一行代碼就可以在一個(gè)Jupyter notebook中顯示數(shù)據(jù)分析報(bào)告。報(bào)告非常詳細(xì),包括了必要的圖表。
你也可以使用以下代碼將這個(gè)報(bào)告輸出到一個(gè)交互式HTML文件中。
2.為pandas 圖表帶來(lái)交互性
Pandas有一個(gè)內(nèi)置的.plot()函數(shù),它是DataFrame類的一部分。然而,使用該函數(shù)呈現(xiàn)的可視化效果并不具有交互性,這使得它的吸引力降低。相反,也不能排除使用pandas. datafram .plot()函數(shù)繪制圖表的方便性。如果我們不需要對(duì)代碼進(jìn)行重大修改,就可以使用pandas繪制出像plotly那樣的交互式圖表,那會(huì)怎么樣呢?實(shí)際上,你可以使用Cufflinks庫(kù)做到這一點(diǎn)。
Cufflinks庫(kù)結(jié)合了plotly的強(qiáng)大功能和pandas的靈活性,便于輕松繪圖?,F(xiàn)在我們來(lái)看看如何安裝這個(gè)庫(kù)并讓它在pandas中運(yùn)行。
安裝
用法
是時(shí)候看看使用Titanic數(shù)據(jù)集展開的神奇之處了。
右邊的可視化顯示的是靜態(tài)圖表,而左邊的圖表是交互式的,并且更加詳細(xì),所有這些都沒(méi)有對(duì)語(yǔ)法進(jìn)行任何重大更改。
3. 一點(diǎn)魔法
魔法命令是Jupyter Notebook中的一組方便的函數(shù),旨在解決標(biāo)準(zhǔn)數(shù)據(jù)分析中的一些常見(jiàn)問(wèn)題。你可以通過(guò)%lsmagic命令來(lái)查看所有可用的魔法命令。
魔法命令有兩種類型: line magics(行魔法)和cell magics(單元魔法),前者以單個(gè)%字符作為前綴,并在一行輸入上進(jìn)行操作;后者與兩個(gè)%%前綴關(guān)聯(lián),并在多行輸入上進(jìn)行操作。如果將魔法函數(shù)的選項(xiàng)設(shè)置為1時(shí),不需要鍵入初始%就可調(diào)用它。
我們來(lái)看看在常見(jiàn)的數(shù)據(jù)分析任務(wù)中可能有用的一些魔法函數(shù):
% pastebin
%pastebin將代碼上傳到Pastebin并返回其url。Pastebin是一個(gè)在線內(nèi)容托管服務(wù),我們可以在其中存儲(chǔ)純文本,如源代碼片段,然后可以將url與他人共享。事實(shí)上,Github gist也類似于Pastebin,盡管它有版本控制。
我們假設(shè)有一個(gè)包含以下內(nèi)容的python腳本file.py:
在Jupyter Notebook中使用%pastebin生成一個(gè)pastebin的url地址。
%matplotlib notebook
%matplotlib inline函數(shù)用于在Jupyter notebook中呈現(xiàn)靜態(tài)matplotlib繪圖。嘗試用notebook替換inline部分,你就可以輕松獲得可縮放和可調(diào)整大小的繪圖。確保在導(dǎo)入matplotlib庫(kù)之前調(diào)用該函數(shù)。
%matplotlib inline 對(duì)比 %matplotlib notebook
%run
%run函數(shù)會(huì)在一個(gè)notebook中運(yùn)行一個(gè)python腳本。
%%writefile
%%writefile 會(huì)將單元格的內(nèi)容寫入文件。這里的代碼將被寫入一個(gè)名為foo.py的文件,并保存在當(dāng)前目錄中。
%%latex
%%latex函數(shù)會(huì)將單元格的內(nèi)容呈現(xiàn)為L(zhǎng)aTeX。它對(duì)在單元格中編寫數(shù)學(xué)公式和方程很有用。
4.發(fā)現(xiàn)和消除錯(cuò)誤
Interactive debugger(交互式調(diào)試器)也是一個(gè)magic函數(shù),但是我已經(jīng)將它單獨(dú)歸為一類。如果在運(yùn)行代碼單元格時(shí)出現(xiàn)異常,請(qǐng)?jiān)谝粋€(gè)新行中鍵入%debug并運(yùn)行它。這會(huì)打開一個(gè)交互式調(diào)試環(huán)境,它會(huì)將你帶到異常發(fā)生的位置。你還可以檢查程序中分配的變量的值,并在這里執(zhí)行操作。要退出這個(gè)調(diào)試器,請(qǐng)按q。
5. 打印輸出也可以很漂亮
如果你想為你的數(shù)據(jù)結(jié)構(gòu)生成美觀的表示形式,pprint是首選模塊。它在打印字典或JSON數(shù)據(jù)時(shí)特別有用。我們來(lái)看一個(gè)同時(shí)使用print和pprint顯示輸出的例子。
6. 讓注釋突出顯示。
我們可以在Jupyter Notebook中使用信息提示/備注框來(lái)醒目顯示一些重要的或任何需要突出的東西。注釋的顏色取決于你指定的提示類型。你只需在需要高亮顯示的單元格中添加以下任何或所有代碼即可。
藍(lán)色信息提示框:信息
黃色信息提示框:警告
綠色提示框:成功
紅色提示框:危險(xiǎn)
7.打印一個(gè)單元格中的所有輸出
假設(shè)有一個(gè)含有以下代碼行的Jupyter Notebook單元格:
只打印最后一個(gè)輸出是單元格的一個(gè)正常屬性,而對(duì)于其他輸出,我們需要添加print()函數(shù)。事實(shí)上,我們只要在notebook的頂部添加以下代碼片段,就可以打印出所有輸出。
現(xiàn)在所有的輸出一個(gè)接一個(gè)的被打印出。
還原到原始設(shè)置:
8.使用‘i’選項(xiàng)運(yùn)行Python腳本
從命令行運(yùn)行python腳本的一種典型方法是: python hello.py。但是,如果你在運(yùn)行相同的腳本時(shí)添加一個(gè)附加的-i,例如python -i hello.py,它會(huì)提供更多的優(yōu)點(diǎn)。我們來(lái)一探究竟。
首先,一旦程序結(jié)束,python并不會(huì)退出解釋器。因此,我們可以檢查變量的值和程序中定義的函數(shù)的正確性。
其次,我們可以很容易地使用以下代碼調(diào)用python調(diào)試器,因?yàn)槲覀內(nèi)匀辉诮忉屍髦校?/p>
這會(huì)將我們帶到異常發(fā)生的位置,然后我們就可以處理代碼。
這個(gè)技巧的初始來(lái)源。(http://www.bnikolic.co.uk/blog/python-running-cline.html )
9.自動(dòng)對(duì)代碼進(jìn)行注釋
Ctrl/Cmd + / 會(huì)自動(dòng)注釋單元格中選定的行。再次敲擊該組合鍵將取消對(duì)同一行代碼的注釋。
10.能刪除是人,能恢復(fù)是神。
你是否曾經(jīng)不小心刪除了Jupyter Notebook中的一個(gè)單元格?如果是,那么這里有一個(gè)快捷方式可以撤消此刪除操作。
如果你刪除了一個(gè)單元格的內(nèi)容,按CTRL/CMD+Z可以很容易地恢復(fù)它
如果你需要恢復(fù)一個(gè)全部刪除的單元格,請(qǐng)點(diǎn)擊ESC+Z或EDIT > Undo Delete Cells
結(jié)論
我列出了在使用Python和JupyterNotebook時(shí)收集到的主要技巧。
上述就是小編為大家分享的使用Python加速數(shù)據(jù)分析的10個(gè)簡(jiǎn)單技巧分別是什么了,如果剛好有類似的疑惑,不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。