這篇文章給大家分享的是有關(guān)python爬蟲怎么定時獲取網(wǎng)頁數(shù)據(jù)的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考。一起跟隨小編過來看看吧。

創(chuàng)新互聯(lián)始終堅持【策劃先行，效果至上】的經(jīng)營理念，通過多達十載累計超上千家客戶的網(wǎng)站建設(shè)總結(jié)了一套系統(tǒng)有效的全網(wǎng)營銷推廣解決方案，現(xiàn)已廣泛運用于各行各業(yè)的客戶，其中包括：水處理設(shè)備等企業(yè)，備受客戶稱譽。

在代碼方面，我們用time函數(shù)表明想要查取的時間間隔和截止時間就可以了。

#!/usr/bin/python3
# -*- coding: utf-8 -*-
import requests
from  bs4 import BeautifulSoup
import time
from datetime import datetime
#請求數(shù)據(jù)

def get_data():
    #Headers 里面大小寫均可
    url = ''
    headers={'Users-Agent':"Mozilla/5.0(X11;Ubuntu;Linux )x86_64;rv:52.0)Gecko/20100101 Firefox/52.0"}
    data=requests.get(url,headers=headers)
    # print(data.text)
    #解析數(shù)據(jù)
    soup=BeautifulSoup(data.text,'html.parser')
    print(datetime.now(),soup)
    return soup
if __name__ == '__main__':
    get_data()

while True:
    if datetime.now() < datetime(2018, 9,8, 23, 59, 59):  # 查詢截止時間為2018-9-8 23:59:59
        get_data()
        time.sleep(600)  # 每隔一個小時查詢一次
    else:
        print("已到截止時間，停止取數(shù)。")
        break

感謝各位的閱讀！關(guān)于python爬蟲怎么定時獲取網(wǎng)頁數(shù)據(jù)就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！