本篇內(nèi)容介紹了“python的pandas有哪些基本操作”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！
創(chuàng)新互聯(lián)公司成都企業(yè)網(wǎng)站建設(shè)服務(wù)，提供成都網(wǎng)站設(shè)計(jì)、做網(wǎng)站網(wǎng)站開發(fā),網(wǎng)站定制,建網(wǎng)站,網(wǎng)站搭建,網(wǎng)站設(shè)計(jì),成都響應(yīng)式網(wǎng)站建設(shè),網(wǎng)頁設(shè)計(jì)師打造企業(yè)風(fēng)格網(wǎng)站,提供周到的售前咨詢和貼心的售后服務(wù)。歡迎咨詢做網(wǎng)站需要多少錢:18982081108
python 的 pandas 庫用來處理表格類型（也就是矩陣）的數(shù)據(jù)非常方便， 這個(gè)庫用來在可視化之前對(duì)數(shù)據(jù)進(jìn)行變換，計(jì)算和匯總之類的操作再好不過。
下面整理了最近我在做數(shù)據(jù)分析的短視頻時(shí)常用的一些方法。
做視頻之前，我采集的數(shù)據(jù)都是用 csv 格式保存的，這里主要演示 pandas 庫的 read_csv 方法。 讀取其他文件格式的方式類似，主要是函數(shù)名稱不同，參數(shù)都差不多。
讀取 csv 文件非常簡單，指定 csv 文件的路徑即可。 測試用 csv 文件內(nèi)容如下：
IP地址,手機(jī)號(hào),登錄日期 223.104.147.75,19951762925,"2021-04-15 01:33:08" 117.181.52.75,15873565020,"2021-04-15 01:48:24" 42.49.165.99,18673535620,"2021-04-15 02:14:40" 14.116.141.24,18673535620,"2021-04-15 05:01:40"
# -*- coding: utf-8 -*- import pandas as pd def test(): df = pd.read_csv( "~/share/test.csv", ) print(df) if __name__ == "__main__": test()
程序運(yùn)行結(jié)果：
$ python test.py IP地址 手機(jī)號(hào)碼 登錄日期 0 223.104.147.75 1.995176e+10 2021-04-15 01:33:08 1 117.181.52.75 1.587357e+10 2021-04-15 01:48:24 2 42.49.165.99 1.867354e+10 2021-04-15 02:14:40 3 14.116.141.24 1.867354e+10 2021-04-15 05:01:40
csv 文件中的列名有時(shí)候沒有，或者有時(shí)候是中文的，列名是后續(xù)進(jìn)行操作數(shù)據(jù)時(shí)使用的 key，一般在讀取時(shí)將其轉(zhuǎn)換成英文。 同時(shí)，可以看出手機(jī)號(hào)碼默認(rèn)被當(dāng)成數(shù)值類型了，所以用科技計(jì)數(shù)法來表示，在讀取數(shù)據(jù)時(shí)，可以設(shè)置此列為字符串類型。
重慶分公司
重慶分公司
# -*- coding: utf-8 -*-
import pandas as pd
def test():
df = pd.read_csv(
"~/share/test.csv",
skiprows=[0],
names=["ip", "mobile", "login_date"],
dtype={"mobile": str},
)
print(df)
if __name__ == "__main__":
test()skiprows 可以用來忽略第一行標(biāo)題，因?yàn)槲覀冇?names 指定了新的標(biāo)題名稱。
dtype 用來指定某列的類型，不指定的話，系統(tǒng)自動(dòng)推斷類型。
程序運(yùn)行結(jié)果：
$ python test.py ip mobile login_date 0 223.104.147.75 19951762925 2021-04-15 01:33:08 1 117.181.52.75 15873565020 2021-04-15 01:48:24 2 42.49.165.99 18673535620 2021-04-15 02:14:40 3 14.116.141.24 18673535620 2021-04-15 05:01:40
列的名稱已替換，手機(jī)號(hào)碼也正常顯示。
在分析數(shù)據(jù)時(shí)，有時(shí)候我們不需要采集的所有數(shù)據(jù)，只取其中需要的幾列數(shù)據(jù)。 比如上面的 csv，如果只分析 IP 地址和登錄時(shí)間，讀取文件時(shí)，可以只取這 2 列數(shù)據(jù)。
# -*- coding: utf-8 -*- import pandas as pd def test(): df = pd.read_csv( "~/share/test.csv", skiprows=[0], usecols=[0, 2], names=["ip", "login_date"], ) print(df) if __name__ == "__main__": test()
通過 usecols 來指定需要那幾列。 程序運(yùn)行結(jié)果：
$ python test.py ip login_date 0 223.104.147.75 2021-04-15 01:33:08 1 117.181.52.75 2021-04-15 01:48:24 2 42.49.165.99 2021-04-15 02:14:40 3 14.116.141.24 2021-04-15 05:01:40
有些列的格式，比如日期格式的列，可能在分析之前就要進(jìn)行轉(zhuǎn)換處理。 上面的例子中，如果是按日分析登錄情況，就不要時(shí)分秒的部分，這樣我們可以在讀取時(shí)就進(jìn)行轉(zhuǎn)換處理。
# -*- coding: utf-8 -*-
from datetime import datetime
import pandas as pd
def test():
df = pd.read_csv(
"~/share/test.csv",
skiprows=[0],
usecols=[0, 2],
names=["ip", "login_date"],
converters={
"login_date": lambda d: datetime.strptime(d, "%Y-%m-%d %H:%M:%S").strftime(
"%Y-%m-%d"
)
},
)
print(df)
if __name__ == "__main__":
test()通過 converters 參數(shù)轉(zhuǎn)換某列。 程序運(yùn)行結(jié)果：
$ python test.py ip login_date 0 223.104.147.75 2021-04-15 1 117.181.52.75 2021-04-15 2 42.49.165.99 2021-04-15 3 14.116.141.24 2021-04-15
讀取文件之后，得到一個(gè) dataframe 結(jié)構(gòu)，它可以當(dāng)成一個(gè)矩陣來看。 基于 dataframe，可以完成各種計(jì)算操作，pandas 提供的 API 也很多，這里只介紹我平時(shí)常用的一部分。
之前做房價(jià)分析時(shí)，按月分析成交平均值和成交總套數(shù)時(shí)，都用到了分組統(tǒng)計(jì)。 分析的第一步就是將數(shù)據(jù)分組。
# -*- coding: utf-8 -*-
import pandas as pd
test_data = {
"name": ["a", "b", "c", "d"],
"value": [11, 20, 31, 42],
"date": ["2017", "2018", "2018", "2017"],
}
def main():
df = pd.DataFrame(test_data)
data = df.groupby("date")
data = data.sum()
print(data)
if __name__ == "__main__":
main()按照日期分組之后，運(yùn)行結(jié)果如下：
$ python test2.py value date 2017 53 2018 51
這里是求和，groupby 之后同樣也可以求平均值。
數(shù)據(jù)集變換是用的比較多的，因?yàn)椴杉头治龅倪^程是分開的，采集的目的是數(shù)據(jù)盡量全和準(zhǔn)確。 所以分析之前會(huì)根據(jù)分析目的會(huì)對(duì)數(shù)據(jù)進(jìn)行適當(dāng)?shù)淖儞Q。
行操作主要指從數(shù)據(jù)集中過濾出一部分?jǐn)?shù)據(jù)，或者合并多個(gè)數(shù)據(jù)集。
過濾數(shù)據(jù)
# -*- coding: utf-8 -*-
import pandas as pd
test_data = {
"name": ["a", "b", "c", "d"],
"value": [11, 20, 31, 42],
"date": ["2017", "2018", "2018", "2017"],
}
def main():
df = pd.DataFrame(test_data)
# 選取2017年的數(shù)據(jù)
data2017 = df[df["date"] == "2017"]
print(data2017)
# 選取value>30 的數(shù)據(jù)
data30 = df[df["value"] > 30]
print(data30)
if __name__ == "__main__":
main()運(yùn)行結(jié)果如下：
$ python test2.py name value date 0 a 11 2017 3 d 42 2017 name value date 2 c 31 2018 3 d 42 2017
可以很方便的直接使用列名來過濾數(shù)據(jù)行
合并數(shù)據(jù)集
# -*- coding: utf-8 -*-
import pandas as pd
test_data_01 = {
"name": ["a", "b", "c", "d"],
"value": [11, 20, 31, 42],
"date": ["2017", "2018", "2018", "2017"],
}
test_data_02 = {
"name": ["a", "b", "c", "d"],
"value": [31, 40, 51, 72],
"date": ["2019", "2020", "2020", "2019"],
}
def main():
df01 = pd.DataFrame(test_data_01)
df02 = pd.DataFrame(test_data_02)
# 合并數(shù)據(jù)集時(shí)，設(shè)置 ignore_index = True，可以避免index重復(fù)
data = pd.concat([df01, df02], ignore_index=True)
print(data)
if __name__ == "__main__":
main()運(yùn)行結(jié)果如下：
$ python test2.py name value date 0 a 11 2017 1 b 20 2018 2 c 31 2018 3 d 42 2017 4 a 31 2019 5 b 40 2020 6 c 51 2020 7 d 72 2019
如果不設(shè)置 ignore_index = True，執(zhí)行結(jié)果如下：（注意第一列有重復(fù)）
$ python test2.py name value date 0 a 11 2017 1 b 20 2018 2 c 31 2018 3 d 42 2017 0 a 31 2019 1 b 40 2020 2 c 51 2020 3 d 72 2019
列操作我用到的場景，有一個(gè)是橫向統(tǒng)計(jì)各個(gè)列的合計(jì)和平均值。 示例如下：
# -*- coding: utf-8 -*-
import pandas as pd
test_data_01 = {
"a": [11, 20],
"b": [1, 2],
}
def main():
df = pd.DataFrame(test_data_01)
df["a+b"] = df["a"] + df["b"]
df["(a+b)/2"] = (df["a"] + df["b"]) / 2
print(df)
if __name__ == "__main__":
main()運(yùn)行結(jié)果如下：
$ python test2.py a b a+b (a+b)/2 0 11 1 12 6.0 1 20 2 22 11.0
還有就是進(jìn)行數(shù)據(jù)集的列合并，比如將多個(gè)數(shù)據(jù)集的統(tǒng)計(jì)結(jié)果進(jìn)行合并：
# -*- coding: utf-8 -*-
import pandas as pd
test_data_01 = {
"a": [11, 20],
"b": [1, 2],
}
test_data_02 = {
"c": [18, 50],
"d": [31, 32],
}
def main():
df01 = pd.DataFrame(test_data_01)
df02 = pd.DataFrame(test_data_02)
df01["a+b"] = df01["a"] + df01["b"]
df01["(a+b)/2"] = (df01["a"] + df01["b"]) / 2
df01 = df01.drop(columns=["a", "b"])
df02["c+d"] = df02["c"] + df02["d"]
df02["(c+d)/2"] = (df02["c"] + df02["d"]) / 2
df02 = df02.drop(columns=["c", "d"])
df = pd.concat([df01, df02], axis=1)
print(df)
if __name__ == "__main__":
main()運(yùn)行結(jié)果如下：
$ python test2.py a+b (a+b)/2 c+d (c+d)/2 0 12 6.0 49 24.5 1 22 11.0 82 41.0
行列互換我一般是在做動(dòng)態(tài)短視頻時(shí)使用的，把每個(gè)時(shí)間點(diǎn)一行數(shù)據(jù)（數(shù)據(jù)包含各個(gè)元素），變成每個(gè)元素在每個(gè)時(shí)間點(diǎn)一個(gè)數(shù)據(jù)。
開始時(shí)，數(shù)據(jù)類似：
date,a,b 2017,1,2 2018,2,3
轉(zhuǎn)換后變成：
key,date,value a,2017,1 a,2018,2 b,2017,2 b,2018,3
轉(zhuǎn)換代碼：
# -*- coding: utf-8 -*-
import pandas as pd
test_data = {
"date": ["2017", "2018"],
"a": [1, 2],
"b": [2, 3],
}
def main():
df = pd.DataFrame(test_data)
print("轉(zhuǎn)換前：>>>>>>")
print(df)
data = df.drop(columns=["date"])
data = pd.melt(data)
df_date = pd.concat([df["date"]] * 2, ignore_index=True)
data = pd.concat([df_date, data], axis=1)
print("\n轉(zhuǎn)換后：>>>>>>")
print(data)
if __name__ == "__main__":
main()運(yùn)行結(jié)果如下：
$ python test2.py 轉(zhuǎn)換前：>>>>>> date a b 0 2017 1 2 1 2018 2 3 轉(zhuǎn)換后：>>>>>> date variable value 0 2017 a 1 1 2018 a 2 2 2017 b 2 3 2018 b 3
導(dǎo)出文件很簡單，只要指定個(gè)路徑即可（注意，路徑不存在會(huì)報(bào)錯(cuò)）。
data.to_csv("./test.csv")導(dǎo)出時(shí)，如果不想導(dǎo)出每行數(shù)據(jù)的序號(hào)，加上 index=False
data.to_csv("./test.csv", index=False)如果給標(biāo)題行重新命名成易懂的中文名稱，設(shè)置 header 參數(shù)。
data.to_csv( "./test.csv", index=False, header=[ "日期", "名稱", "時(shí)間(小時(shí))", ], )
掌握了 pandas，感覺是多了一件隨便操作數(shù)據(jù)集的利器，能夠極大節(jié)省調(diào)整數(shù)據(jù)的時(shí)間。 而且，它的處理速度極快，我在自己的筆記本電腦上處理成千上萬條數(shù)據(jù)時(shí)基本都是瞬間完成，同樣的數(shù)據(jù)，我用 excel 來處理，會(huì)卡頓很多。
“python的pandas有哪些基本操作”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！
