本篇內(nèi)容介紹了“Python怎么設(shè)置User-Agent和代理IP”的有關(guān)知識,在實(shí)際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!
成都創(chuàng)新互聯(lián)公司專業(yè)為企業(yè)提供濮陽網(wǎng)站建設(shè)、濮陽做網(wǎng)站、濮陽網(wǎng)站設(shè)計、濮陽網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計與制作、濮陽企業(yè)網(wǎng)站模板建站服務(wù),十載濮陽做網(wǎng)站經(jīng)驗(yàn),不只是建網(wǎng)站,更提供有價值的思路和整體網(wǎng)絡(luò)服務(wù)。
一、設(shè)置User-Agent
1、創(chuàng)建Request對象時指定headers
url = 'http://ip.zdaye.com/'
head = {}
head['User-Agent'] = 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19'
req = request.Request(url, headers=head)
#傳入創(chuàng)建好的Request對象
response = request.urlopen(req)
html = response.read().decode('utf-8')
print(html)
2、創(chuàng)建Request對象后使用add_header
req.add_header('User-Agent', 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19')
# 參數(shù)為 (key, value)
二、設(shè)置代理IP
使用install_opener方法之后,會將程序默認(rèn)的urlopen方法替換掉。也就是說,如果使用install_opener之后,在該文件中,再次調(diào)用urlopen會使用自己創(chuàng)建好的opener。如果不想替換掉,只是想臨時使用一下,可以使用opener.open(url),這樣就不會對程序默認(rèn)的urlopen有影響。
from urllib import request
if __name__ == "__main__":
url = 'http://ip.zdaye.com/'
#這是代理IP
proxy = {'http':'168.68.8.88:66666'}
#創(chuàng)建ProxyHandler
proxy_support = request.ProxyHandler(proxy)
#創(chuàng)建Opener
opener = request.build_opener(proxy_support)
#添加User Angent
opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36')]
#安裝OPener
request.install_opener(opener)
#使用自己安裝好的Opener
response = request.urlopen(url)
html = response.read().decode("utf-8")
print(html)
“Python怎么設(shè)置User-Agent和代理IP”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實(shí)用文章!