真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

python定時(shí)爬蟲啟用時(shí)怎么減少內(nèi)存

這篇文章給大家分享的是有關(guān)python定時(shí)爬蟲啟用時(shí)怎么減少內(nèi)存的內(nèi)容。小編覺得挺實(shí)用的,因此分享給大家做個(gè)參考。一起跟隨小編過來看看吧。

目前成都創(chuàng)新互聯(lián)已為上千多家的企業(yè)提供了網(wǎng)站建設(shè)、域名、虛擬空間、成都網(wǎng)站托管、企業(yè)網(wǎng)站設(shè)計(jì)、靈石網(wǎng)站維護(hù)等服務(wù),公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略,正道將秉承"和諧、參與、激情"的文化,與客戶和合作伙伴齊心協(xié)力一起成長(zhǎng),共同發(fā)展。

我們?cè)谕瑫r(shí)處理多個(gè)事情的時(shí)候,可能同時(shí)打開瀏覽器、辦公軟件等不同的幾個(gè)程序,一旦過多電腦運(yùn)行就會(huì)變慢。要是還不斷地加入新的程序,電腦就會(huì)卡的動(dòng)不了,然后宣布它不跟我們玩了。我們定時(shí)獲取數(shù)據(jù)的時(shí)候,程序啟動(dòng)的也是非常多的,而且還不斷有新的數(shù)據(jù)獲取保存下來,那么我們有沒有什么方法可以減少程序運(yùn)行所占有的cpu率呢?

現(xiàn)在需要啟動(dòng)一個(gè)selenium的爬蟲,使用火狐驅(qū)動(dòng)+多線程,大家都明白的,現(xiàn)在電腦管家顯示CPU占用率20%,啟動(dòng)selenium后不停的開啟瀏覽器+多線程。

沒過5分鐘,CPU占用率直接拉到90%+,電腦卡到飛起,定時(shí)程序雖然還在運(yùn)行,但是已經(jīng)類似于待機(jī)狀態(tài)。

代碼解決:

from datetime import datetime
from threading import Timer
import time
 
# 定時(shí)任務(wù)
def task():
  print(datetime.now().strftime("%Y-%m-%d %H:%M:%S"))
 
def timedTask():
  '''
  第一個(gè)參數(shù): 延遲多長(zhǎng)時(shí)間執(zhí)行任務(wù)(秒)
  第二個(gè)參數(shù): 要執(zhí)行的函數(shù)
  第三個(gè)參數(shù): 調(diào)用函數(shù)的參數(shù)(tuple)
  '''
  Timer(5, task, ()).start()
 
while True:
  timedTask()
  time.sleep(5)

7行代碼,是不是很優(yōu)雅?

2020-06-05 14:06:39
2020-06-05 14:06:44
2020-06-05 14:06:49
2020-06-05 14:06:54
2020-06-05 14:06:59
2020-06-05 14:07:04
2020-06-05 14:07:09
2020-06-05 14:07:14
2020-06-05 14:07:19
2020-06-05 14:07:24

感謝各位的閱讀!關(guān)于python定時(shí)爬蟲啟用時(shí)怎么減少內(nèi)存就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,讓大家可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò),可以把它分享出去讓更多的人看到吧!


網(wǎng)頁(yè)標(biāo)題:python定時(shí)爬蟲啟用時(shí)怎么減少內(nèi)存
本文路徑:http://weahome.cn/article/ihdgpj.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部