這篇文章將為大家詳細(xì)講解有關(guān)python爬蟲中怎么處理429錯(cuò)誤，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)公司是一家專業(yè)提供額濟(jì)納企業(yè)網(wǎng)站建設(shè),專注與網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站制作、H5高端網(wǎng)站建設(shè)、小程序制作等業(yè)務(wù)。10年已為額濟(jì)納眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)絡(luò)公司優(yōu)惠進(jìn)行中。

Python的優(yōu)點(diǎn)有哪些

1、簡單易用，與C/C++、Java、C# 等傳統(tǒng)語言相比，Python對(duì)代碼格式的要求沒有那么嚴(yán)格；2、Python屬于開源的，所有人都可以看到源代碼，并且可以被移植在許多平臺(tái)上使用；3、Python面向?qū)ο?，能夠支持面向過程編程,也支持面向?qū)ο缶幊蹋?、Python是一種解釋性語言，Python寫的程序不需要編譯成二進(jìn)制代碼，可以直接從源代碼運(yùn)行程序；5、Python功能強(qiáng)大，擁有的模塊眾多，基本能夠?qū)崿F(xiàn)所有的常見功能。

我們?cè)谑褂胮ython爬蟲爬取頁面的過程中爬到某個(gè)時(shí)刻異常報(bào)錯(cuò)，如果是被反爬抓到了，就是403錯(cuò)誤，那有的時(shí)候會(huì)出現(xiàn)429錯(cuò)誤是什么意思呢？429錯(cuò)誤是指在爬蟲的過程中同一時(shí)間訪問頻率過高，因此控制訪問的速度就可以了。本文介紹python爬蟲中處理429錯(cuò)誤的方法及具體代碼。

什么是429錯(cuò)誤？

429是Too Many Requests，http代碼429表示訪問過快。意思就是同一時(shí)間訪問頻率過高，大多是因?yàn)槌绦虿l(fā)太高超過代理那邊給的帳號(hào)的并發(fā)限制了。

如何處理？

控制訪問的速度就可以了。

有些

python爬蟲中處理429錯(cuò)誤？

捕獲錯(cuò)誤

try: 
 
.....
 
except aiohttp.ClientResponseError as e:  # 響應(yīng)錯(cuò)誤
    if status== 429:
        retryAfter="Retry-After"
        headers=e.headers
        sec=getHeader(headers, retryAfter)
        if len(sec)>0:
            sec=int(sec)
            print(status, "請(qǐng)求過快，服務(wù)器要求待",sec , url )
            time.sleep(sec) # If the rate limit is renewed in a minute, put 60 seconds, and so on.
        else:
            print(status, "服務(wù)器拒絕了請(qǐng)求，表示請(qǐng)求過快。取消重試，請(qǐng)稍后再試！", url)

def getHeader(headers, key):
    key_lower=key.lower()
    headers_lower = {k.lower():v for k,v in headers.items()}
    if (key_lower in headers_lower) :
        return headers_lower[key_lower]
    else:
        return ''

關(guān)于“python爬蟲中怎么處理429錯(cuò)誤”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。