本文章向大家介紹使用python怎么把超大的txt文件轉(zhuǎn)換為csv文件的基本知識點總結(jié)和需要注意事項，具有一定的參考價值，需要的朋友可以參考一下。

站在用戶的角度思考問題，與客戶深入溝通，找到洪澤網(wǎng)站設(shè)計與洪澤網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗，讓設(shè)計與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個性化、用戶體驗好的作品，建站類型包括：做網(wǎng)站、網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣、域名注冊、雅安服務器托管、企業(yè)郵箱。業(yè)務覆蓋洪澤地區(qū)。python可以做什么

Python是一種編程語言，內(nèi)置了許多有效的工具，Python幾乎無所不能，該語言通俗易懂、容易入門、功能強大，在許多領(lǐng)域中都有廣泛的應用，例如最熱門的大數(shù)據(jù)分析，人工智能，Web開發(fā)等。

import numpy as np
import pandas as pd

data_txt = np.loadtxt('datas_train.txt')
data_txtDF = pd.DataFrame(data_txt)
data_txtDF.to_csv('datas_train.csv',index=False)

上述的datas_train.txt只有不到100MB，560W行數(shù)據(jù)，三分鐘之內(nèi)轉(zhuǎn)換完畢。

然后我換了一個5600W行共1.2G的txt文本，用上述代碼轉(zhuǎn)換，電腦直接卡死了。

原因在于上述代碼會把全部的txt加載進內(nèi)存，然后再轉(zhuǎn)換，這就會造成電腦內(nèi)存耗盡。

然后就想到了切割數(shù)據(jù)的辦法，具體實現(xiàn)如下：

import numpy as np
import pandas as pd


train_data = pd.read_table('big_data.txt',iterator=True,header=None)

while True:
 try:
  chunk = train_data.get_chunk(5600000)
  chunk.columns = ['user_id','spu_id','buy_or_not','date']
  chunk.to_csv('big_data111.csv', mode='a',header=False,index = None)
 except Exception as e:
  break

以上就是小編為大家?guī)淼氖褂胮ython怎么把超大的txt文件轉(zhuǎn)換為csv文件的全部內(nèi)容了，希望大家多多支持創(chuàng)新互聯(lián)！

新聞標題：使用python怎么把超大的txt文件轉(zhuǎn)換為csv文件-創(chuàng)新互聯(lián)
網(wǎng)站網(wǎng)址：http://weahome.cn/article/gpecj.html