真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

運(yùn)行較大excel文件openpyxl變慢怎么辦

這篇文章主要介紹了運(yùn)行較大excel文件openpyxl變慢怎么辦,具有一定借鑒價(jià)值,需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。

成都創(chuàng)新互聯(lián)堅(jiān)持“要么做到,要么別承諾”的工作理念,服務(wù)領(lǐng)域包括:成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù),滿足客戶于互聯(lián)網(wǎng)時(shí)代的蓮湖網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴!

運(yùn)行以下代碼:

from openpyxl import Workbook  from openpyxl.utils import get_column_letter  from openpyxl import load_workbook  import time  wb = load_workbook("E:/a.xlsx", read_only=True)  sh = wb["Sheet"]  # rowItem = {}  # for j in range(1,2000):  #   for i in range(1, 30):  #     rowItem[get_column_letter(i)] = i  #   sh.append(rowItem)  # wb.save("E:/a.xlsx")  t0 = time.time()  print(sh['V500'].value)  t1 = time.time()  print("openpyxl所用時(shí)間:", str(t1-t0))  import xlrd  xlsPath = "E:/a.xlsx"  WorkBook = xlrd.open_workbook(xlsPath)  sh = WorkBook.sheet_by_name("Sheet")  t0 = time.time()  print(sh.cell(499,22).value)  t1 = time.time()  print("xlrd所用時(shí)間:", str(t1-t0))

測(cè)試結(jié)果:

22 openpyxl所用時(shí)間: 0.44217610359191895 23.0 xlrd所用時(shí)間: 0.0010063648223876953

結(jié)論

openpyxl的慢是讀取慢,可以選擇xlrd代替,詳細(xì)測(cè)試下面繼續(xù)。

不直接使用xlwt+xlrd是因?yàn)閤lwt僅支持2003及以下版本,最大行數(shù)限制在65536,不夠用,而openpyxl大概在一百多萬(wàn)

主要的說(shuō)完了,下面詳細(xì)說(shuō)了:在寫工具的時(shí)候遇到的這個(gè)問(wèn)題,開(kāi)始是用的xlwt+xlrd,然后行數(shù)超標(biāo)了,沒(méi)辦法換成openpyxl使用excel2007的版本,原本測(cè)試不到三萬(wàn)行的數(shù)據(jù),只要三四秒,換成openpyxl以后,花了好幾分鐘,具體沒(méi)看多少了,然后加上函數(shù)運(yùn)行時(shí)間的監(jiān)視器以后,才看到是讀取的時(shí)候出的問(wèn)題。

推測(cè)原因:

推測(cè)的話,openpyxl的根據(jù)行號(hào)列號(hào)讀取的時(shí)候,是從第一行第一列開(kāi)始遍歷,直到行號(hào)等于指定行號(hào),列號(hào)等于指定列號(hào),所以要讀取的行號(hào)列號(hào)越多就越慢,(也可能是從第一個(gè)有數(shù)據(jù)的行或列),而xlrd則是類似與數(shù)組一樣,我們要取第幾個(gè)元素,直接根據(jù)下標(biāo)找到內(nèi)存中對(duì)應(yīng)地址的元素即可,所以無(wú)論excel總量多少,速度基本都是不變的。

知識(shí)拓展:

xlwt寫入僅支持65536行,那xlrd的讀取很可能也是,也就是超過(guò)這么多的數(shù)據(jù)可能也會(huì)出錯(cuò)。

我這里因?yàn)槭亲x多表數(shù)據(jù)生成單表數(shù)據(jù),生成方式大概是Na*Nb這樣,所以實(shí)際讀取的不會(huì)太多,但生成的很多,所以基本可以用考慮這個(gè)問(wèn)題。

另外,據(jù)說(shuō)xlrd讀取xlsx格式的偶爾會(huì)出現(xiàn)問(wèn)題,具體沒(méi)測(cè)試,暫時(shí)用還沒(méi)毛病。

最后,順帶上一下監(jiān)控函數(shù)運(yùn)行時(shí)間的裝飾器吧:

import time from functools import wraps def fn_timer(function):  @wraps(function)  def function_timer(*args, **kwargs):    t0 = time.time()    result = function(*args, **kwargs)    t1 = time.time()    print ("Total time running %s: %s seconds" %      (function.__name__, str(t1-t0))      )    return result  return function_timer

使用方式的話,就是在要監(jiān)控的函數(shù)定義上面加上 @fn_timer就行了。

感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享運(yùn)行較大excel文件openpyxl變慢怎么辦內(nèi)容對(duì)大家有幫助,同時(shí)也希望大家多多支持創(chuàng)新互聯(lián),關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,遇到問(wèn)題就找創(chuàng)新互聯(lián),詳細(xì)的解決方法等著你來(lái)學(xué)習(xí)!


名稱欄目:運(yùn)行較大excel文件openpyxl變慢怎么辦
本文路徑:http://weahome.cn/article/isgegj.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部