本篇內(nèi)容介紹了“python怎么實現(xiàn)單機處理大文件”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠?qū)W有所成！
站在用戶的角度思考問題，與客戶深入溝通，找到邛崍網(wǎng)站設計與邛崍網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗，讓設計與互聯(lián)網(wǎng)技術結合，創(chuàng)造個性化、用戶體驗好的作品，建站類型包括：成都網(wǎng)站制作、做網(wǎng)站、外貿(mào)營銷網(wǎng)站建設、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣、域名注冊、雅安服務器托管、企業(yè)郵箱。業(yè)務覆蓋邛崍地區(qū)。
下面的討論基于的假定：可以單獨處理一行數(shù)據(jù)，行間數(shù)據(jù)相關性為零。
方法一：
僅使用 Python 內(nèi)置模板，逐行讀取到內(nèi)存。
使用 yield，好處是解耦讀取操作和處理操作：
重慶分公司
重慶分公司
def python_read(filename):
with open(filename,'r',encoding='utf-8') as f:
while True:
line = f.readline()
if not line:
return
yield line
以上每次讀取一行，逐行迭代，逐行處理數(shù)據(jù)
if __name__ == '__main__':
g = python_read('./data/movies.dat')
for c in g:
print(c)
# process c
方法二：
方法一有缺點，逐行讀入，頻繁的 IO 操作拖累處理效率。是否有一次 IO ，讀取多行的方法？
pandas 包 read_csv 函數(shù)，參數(shù)有 38 個之多，功能非常強大。
關于單機處理大文件，read_csv 的 chunksize 參數(shù)能做到，它被設置為 5， 意味著一次讀取 5 行。
def pandas_read(filename,sep=',',chunksize=5):
reader = pd.read_csv(filename,sep,chunksize=chunksize)
while True:
try:
yield reader.get_chunk()
except StopIteration:
print('---Done---')
break
使用如同方法一：
if __name__ == '__main__':
g = pandas_read('./data/movies.dat',sep="::")
for c in g:
print(c)
# process c“python怎么實現(xiàn)單機處理大文件”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！
