小編給大家分享一下cookie怎么在python爬蟲中響應網(wǎng)頁,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討吧!
成都創(chuàng)新互聯(lián)長期為上千余家客戶提供的網(wǎng)站建設(shè)服務,團隊從業(yè)經(jīng)驗10年,關(guān)注不同地域、不同群體,并針對不同對象提供差異化的產(chǎn)品和服務;打造開放共贏平臺,與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為吳川企業(yè)提供專業(yè)的成都網(wǎng)站建設(shè)、做網(wǎng)站,吳川網(wǎng)站改版等技術(shù)服務。擁有10余年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。Cookie,指某些網(wǎng)站為了辨別用戶身份、進行session跟蹤而儲存在用戶本地終端上的數(shù)據(jù)(通常經(jīng)過加密)
比如說有些網(wǎng)站需要登錄后才能訪問某個頁面,在登錄之前,你想抓取某個頁面內(nèi)容是不允許的。那么我們可以利用Urllib2庫保存我們登錄的Cookie,然后再抓取其他頁面就達到目的了。
從響應中獲取cookie
我們就可以先訪問該站的某個頁,建立了session連接之后,獲取cookie,再偽造頭進行訪問。
>>> from bs4Test import * >>> s = requests.session() >>> s.get("/tupian/20230522/BOListing.xhtml >>> print(s.cookies) # 下面是打印結(jié)果 , http://www.gebiz.gov.sg/>, http://www.gebiz.gov.sg/>]>
最后拼接cookie串
cook_value = '' for x in cook: cook_value += x.name + '=' + x.value + ';' cook_value = cook_value[:len(cook_value)-1] print(cook_value) #打印結(jié)果 __cfduid=d9ed16845e45ce7496268e8b2293dadc81456745242;BIGipServerPTN2_PRD_Pool=18964640.47873.0000;wlsessionid=nUIsyGBSLqjakq4P5dEDh5TNUJBYtw4nIpxkyITzrj2A5CalOWZ9!-936114045
看完了這篇文章,相信你對cookie怎么在python爬蟲中響應網(wǎng)頁有了一定的了解,想了解更多相關(guān)知識,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝各位的閱讀!