這篇文章給大家分享的是有關(guān)如何使用Pandas分塊處理大文件的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過來看看吧。

我們提供的服務(wù)有：成都網(wǎng)站建設(shè)、網(wǎng)站建設(shè)、微信公眾號(hào)開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、信宜ssl等。為上1000+企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的信宜網(wǎng)站制作公司

使用Pandas分塊處理大文件

問題：今天在處理快手的用戶數(shù)據(jù)時(shí)，遇到了一個(gè)差不多600M的txt文本，用sublime打開都蹦了，我用pandas.read_table()去讀，差不多花了近2分鐘，最后打開發(fā)現(xiàn)差不多3千萬行數(shù)據(jù)。這僅僅是打開，如果要處理不知得多費(fèi)勁。

解決：我翻了一下文檔，這一類讀取文件的函數(shù)有兩個(gè)參數(shù)：chunksize、iterator

原理就是不一次性把文件數(shù)據(jù)讀入內(nèi)存中，而是分多次。

1、指定chunksize分塊讀取文件

read_csv 和 read_table 有一個(gè) chunksize 參數(shù)，用以指定一個(gè)塊大小(每次讀取多少行)，返回一個(gè)可迭代的  TextFileReader 對(duì)象。

table=pd.read_table(path+'kuaishou.txt',sep='\t',chunksize=1000000) for df in table:     對(duì)df處理     #如df.drop(columns=['page','video_id'],axis=1,inplace=True)     #print(type(df),df.shape)打印看一下信息12345

我這里又對(duì)文件進(jìn)行了劃分，分成若干個(gè)子文件分別處理(沒錯(cuò)，to_csv也同樣有chunksize參數(shù))

2、指定iterator=True

iterator=True同樣返回的是TextFileReader對(duì)象

reader = pd.read_table('tmp.sv', sep='\t', iterator=True) df=reader.get_chunk(10000) #通過get_chunk(size)，返回一個(gè)size行的塊 #接著同樣可以對(duì)df處理

感謝各位的閱讀！關(guān)于“如何使用Pandas分塊處理大文件”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！