真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

python爬蟲中urllib庫代理的設置方法

這篇文章給大家分享的是有關python爬蟲中urllib庫代理的設置方法的內(nèi)容。小編覺得挺實用的,因此分享給大家做個參考。一起跟隨小編過來看看吧。

崗巴ssl適用于網(wǎng)站、小程序/APP、API接口等需要進行數(shù)據(jù)傳輸應用場景,ssl證書未來市場廣闊!成為創(chuàng)新互聯(lián)的ssl證書銷售渠道,可以享受市場價格4-6折優(yōu)惠!如果有意向歡迎電話聯(lián)系或者加微信:18980820575(備注:SSL證書合作)期待與您的合作!

關于urllib庫

urllib 庫一般使用 ProxyHandler 設置代理,參數(shù)是字典類型,鍵名是協(xié)議。

urllib代理設置代碼如下

from urllib.error import URLError
from urllib.request import ProxyHandler
from urllib.request import build_opener
 
# 通過ProxyHandler來設置代理服務器,參數(shù)為字典類型,鍵名為協(xié)議,鍵值為代理
proxy_handler = ProxyHandler({"http": "http://113.120.33.75:9999",
                              "https":"https://120.83.99.72:9999"})
 
# 創(chuàng)建一個opener對象,比openurl多了一個header
opener = build_opener(proxy_handler)
try:
    # 通過opener對象打開url
    response = opener.open("http://httpbin.org/get")
    print(response.read().decode("utf-8"))
except URLError as e:
print(e.reason)

結(jié)果會出現(xiàn)兩種情況

[WinError 10061] 由于目標計算機積極拒絕,無法連接。
解決方法:主要是代理不可用,更換代理就行

[WinError 10060] 由于連接方在一段時間后沒有正確答復或連接的主機沒有反應,連接嘗試失敗。  

解決方法:將瀏覽器的代理設置中的局域網(wǎng)設置,里面的自動配置腳本選項改為自動檢測設置即可。

運行結(jié)果如下,可以看到origin已經(jīng)改成了代理IP

{
  "args": {},
  "headers": {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3",
    "Accept-Encoding": "gzip, deflate",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Host": "httpbin.org",
    "Upgrade-Insecure-Requests": "1",
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"
  },
  "origin": "113.120.33.75, 113.120.33.75",
  "url": "https://httpbin.org/get"
}

感謝各位的閱讀!關于python爬蟲中urllib庫代理的設置方法就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,讓大家可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!


分享文章:python爬蟲中urllib庫代理的設置方法
當前網(wǎng)址:http://weahome.cn/article/gphgoe.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部