這篇文章給大家分享的是有關(guān)Python2爬蟲中URLError與HTTPError是什么意思的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考。一起跟隨小編過來看看吧。

創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),大安市企業(yè)網(wǎng)站建設(shè),大安市品牌網(wǎng)站建設(shè),網(wǎng)站定制,大安市網(wǎng)站建設(shè)報價,網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,大安市網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競爭力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網(wǎng)站。

大家好，本節(jié)在這里主要說的是URLError還有HTTPError，以及對它們的一些處理。

1.URLError

首先解釋下URLError可能產(chǎn)生的原因：

    ·網(wǎng)絡(luò)無連接，即本機(jī)無法上網(wǎng)

    ·連接不到特定的服務(wù)器

    ·服務(wù)器不存在

在代碼中，我們需要用try-except語句來包圍并捕獲相應(yīng)的異常。下面是一個例子，先感受下它的風(fēng)騷

import urllib2
requset = urllib2.Request('http://www.xxxxx.com')
try:
    urllib2.urlopen(request)
except urllib2.URLError, e:
    print e.reason

我們利用了 urlopen方法訪問了一個不存在的網(wǎng)址，運行結(jié)果如下：

[Errno 11004] getaddrinfo failed

它說明了錯誤代號是11004，錯誤原因是 getaddrinfo failed

2.HTTPError

HTTPError是URLError的子類，在你利用urlopen方法發(fā)出一個請求時，服務(wù)器上都會對應(yīng)一個應(yīng)答對象response，其中它包含一個數(shù)字”狀態(tài)碼”。舉個例子，假如response是一個”重定向”，需定位到別的地址獲取文檔，urllib2將對此進(jìn)行處理。

其他不能處理的，urlopen會產(chǎn)生一個HTTPError，對應(yīng)相應(yīng)的狀態(tài)嗎，HTTP狀態(tài)碼表示HTTP協(xié)議所返回的響應(yīng)的狀態(tài)。下面將狀態(tài)碼歸結(jié)如下：

100：繼續(xù)  客戶端應(yīng)當(dāng)繼續(xù)發(fā)送請求?？蛻舳藨?yīng)當(dāng)繼續(xù)發(fā)送請求的剩余部分，或者如果請求已經(jīng)完成，忽略這個響應(yīng)。

101： 轉(zhuǎn)換協(xié)議  在發(fā)送完這個響應(yīng)最后的空行后，服務(wù)器將會切換到在Upgrade 消息頭中定義的那些協(xié)議。只有在切換新的協(xié)議更有好處的時候才應(yīng)該采取類似措施。

102：繼續(xù)處理   由WebDAV（RFC 2518）擴(kuò)展的狀態(tài)碼，代表處理將被繼續(xù)執(zhí)行。

200：請求成功      處理方式：獲得響應(yīng)的內(nèi)容，進(jìn)行處理。

201：請求完成，結(jié)果是創(chuàng)建了新資源。新創(chuàng)建資源的URI可在響應(yīng)的實體中得到    處理方式：爬蟲中不會遇到。

202：請求被接受，但處理尚未完成    處理方式：阻塞等待。

204：服務(wù)器端已經(jīng)實現(xiàn)了請求，但是沒有返回新的信 息。如果客戶是用戶代理，則無須為此更新自身的文檔視圖。處理方式：丟棄。

300：該狀態(tài)碼不被HTTP/1.0的應(yīng)用程序直接使用，只是作為3XX類型回應(yīng)的默認(rèn)解釋。存在多個可用的被請求資源。處理方式：若程序中能夠處理，則進(jìn)行進(jìn)一步處理，如果程序中不能處理，則丟棄。

301：請求到的資源都會分配一個永久的URL，這樣就可以在將來通過該URL來訪問此資源。處理方式：重定向到分配的URL。

302：請求到的資源在一個不同的URL處臨時保存     處理方式：重定向到臨時的URL

304：請求的資源未更新     處理方式：丟棄

400：非法請求     處理方式：丟棄

401：未授權(quán)     處理方式：丟棄

403：禁止     處理方式：丟棄

404：沒有找到     處理方式：丟棄

500：服務(wù)器內(nèi)部錯誤  服務(wù)器遇到了一個未曾預(yù)料的狀況，導(dǎo)致了它無法完成對請求的處理。一般來說，這個問題都會在服務(wù)器端的源代碼出現(xiàn)錯誤時出現(xiàn)。

501：服務(wù)器無法識別  服務(wù)器不支持當(dāng)前請求所需要的某個功能。當(dāng)服務(wù)器無法識別請求的方法，并且無法支持其對任何資源的請求。

502：錯誤網(wǎng)關(guān)  作為網(wǎng)關(guān)或者代理工作的服務(wù)器嘗試執(zhí)行請求時，從上游服務(wù)器接收到無效的響應(yīng)。

503：服務(wù)出錯   由于臨時的服務(wù)器維護(hù)或者過載，服務(wù)器當(dāng)前無法處理請求。這個狀況是臨時的，并且將在一段時間以后恢復(fù)。

HTTPError實例產(chǎn)生后會有一個code屬性，這就是是服務(wù)器發(fā)送的相關(guān)錯誤號。

因為urllib2可以為你處理重定向，也就是3開頭的代號可以被處理，并且100-299范圍的號碼指示成功，所以你只能看到400-599的錯誤號碼。

下面我們寫一個例子來感受一下，捕獲的異常是HTTPError，它會帶有一個code屬性，就是錯誤代號，另外我們又打印了reason屬性，這是它的父類URLError的屬性。

import urllib2
req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
    urllib2.urlopen(req)
except urllib2.HTTPError, e:
    print e.code
    print e.reason

運行結(jié)果如下：

403
Forbidden

錯誤代號是403，錯誤原因是Forbidden，說明服務(wù)器禁止訪問。

我們知道，HTTPError的父類是URLError，根據(jù)編程經(jīng)驗，父類的異常應(yīng)當(dāng)寫到子類異常的后面，如果子類捕獲不到，那么可以捕獲父類的異常，所以上述的代碼可以這么改寫。

import urllib2
req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
    urllib2.urlopen(req)
except urllib2.HTTPError, e:
    print e.code
except urllib2.URLError, e:
    print e.reason
else:
    print "OK"

如果捕獲到了HTTPError，則輸出code，不會再處理URLError異常。如果發(fā)生的不是HTTPError，則會去捕獲URLError異常，輸出錯誤原因。

另外還可以加入 hasattr屬性提前對屬性進(jìn)行判斷，代碼改寫如下：

import urllib2
req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
    urllib2.urlopen(req)
except urllib2.URLError, e:
    if hasattr(e,"reason"):
        print e.reason
else:
    print "OK"

首先對異常的屬性進(jìn)行判斷，以免出現(xiàn)屬性輸出報錯的現(xiàn)象。

感謝各位的閱讀！關(guān)于Python2爬蟲中URLError與HTTPError是什么意思就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！