真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

python爬蟲中如何使用header

這篇文章主要介紹python爬蟲中如何使用header,文中介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們一定要看完!

創(chuàng)新互聯(lián)是專業(yè)的江安網(wǎng)站建設(shè)公司,江安接單;提供成都網(wǎng)站設(shè)計、成都網(wǎng)站建設(shè),網(wǎng)頁設(shè)計,網(wǎng)站設(shè)計,建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行江安網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊,希望更多企業(yè)前來合作!

headers是解決requests請求反爬的方法之一,相當(dāng)于我們進(jìn)去這個網(wǎng)頁的服務(wù)器本身,假裝自己本身在爬取數(shù)據(jù)。

對反爬蟲網(wǎng)頁,可以設(shè)置一些headers信息,模擬成瀏覽器取訪問網(wǎng)站 。

谷歌或者火狐瀏覽器,在網(wǎng)頁面上點(diǎn)擊:右鍵–檢查;點(diǎn)擊更多工具-開發(fā)者工具;直接F12亦可。然后再按Fn+F5刷新出網(wǎng)頁來顯示元素

有的瀏覽器是點(diǎn)擊:右鍵->查看元素,刷新

python爬蟲中如何使用header

注意:headers中有很多內(nèi)容,主要常用的就是user-agent 和 host,他們是以鍵對的形式展現(xiàn)出來,如果user-agent 以字典鍵對形式作為headers的內(nèi)容,就可以反爬成功,就不需要其他鍵對;否則,需要加入headers下的更多鍵對形式。

import urllib2
import urllib
values={"username":"xxxx","password":"xxxxx"}
data=urllib.urlencode(values)
url= "https://ssl.gstatic.com/gb/images/v2_730ffe61.png"
user_agent="Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"
referer='http://www.google.com/'
headers={"User-Agent":user_agent,'Referer':referer}
request=urllib2.Request(url,data,headers)
response=urllib2.urlopen(request)
print response.read()

以上是“python爬蟲中如何使用header”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對大家有幫助,更多相關(guān)知識,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!


當(dāng)前文章:python爬蟲中如何使用header
網(wǎng)頁地址:http://weahome.cn/article/iehoci.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部