python中的pandas模塊中對(duì)重復(fù)數(shù)據(jù)去重步驟:
1)利用DataFrame中的duplicated方法返回一個(gè)布爾型的Series,顯示各行是否有重復(fù)行,沒(méi)有重復(fù)行顯示為FALSE,有重復(fù)行顯示為T(mén)RUE;
2)再利用DataFrame中的drop_duplicates方法用于返回一個(gè)移除了重復(fù)行的DataFrame。
注釋:
如果duplicated方法和drop_duplicates方法中沒(méi)有設(shè)置參數(shù),則這兩個(gè)方法默認(rèn)會(huì)判斷全部咧,如果在這兩個(gè)方法中加入了指定的屬性名(或者稱為列名),例如:frame.drop_duplicates(['state']),則指定部分列(state列)進(jìn)行重復(fù)項(xiàng)的判斷。
具體實(shí)例如下:
>>> import pandas as pd >>> data={'state':[1,1,2,2],'pop':['a','b','c','d']} >>> frame=pd.DataFrame(data) >>> frame pop state 0 a 1 1 b 1 2 c 2 3 d 2 >>> IsDuplicated=frame.duplicated() >>> print IsDuplicated 0 False 1 False 2 False 3 False dtype: bool >>> frame=frame.drop_duplicates(['state']) >>> frame pop state 0 a 1 2 c 2 >>> IsDuplicated=frame.duplicated(['state']) >>> print IsDuplicated 0 False 2 False dtype: bool >>>