小編給大家分享一下python爬蟲Cookie的使用方法,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
成都創(chuàng)新互聯(lián)專業(yè)提供綿陽電信機房服務,為用戶提供五星數(shù)據(jù)中心、電信、雙線接入解決方案,用戶可自行在線購買綿陽電信機房服務,并享受7*24小時金牌售后服務。
一、獲取 Cookie 保存到變量
首先,我們先利用 CookieJar 對象實現(xiàn)獲取cookie的功能,存儲到變量中,先來感受一下
import urllib2 import cookielib #聲明一個CookieJar對象實例來保存cookie cookie = cookielib.CookieJar() #利用urllib2庫的HTTPCookieProcessor對象來創(chuàng)建cookie處理器 handler=urllib2.HTTPCookieProcessor(cookie) #通過handler來構建opener opener = urllib2.build_opener(handler) #此處的open方法同urllib2的urlopen方法,也可以傳入request response = opener.open('http://www.baidu.com') for item in cookie: print 'Name = '+item.name print 'Value = '+item.value
我們使用以上方法將cookie保存到變量中,然后打印出了cookie中的值,運行結果如下
Name = BAIDUID Value = B07B663B645729F11F659C02AAE65B4C:FG=1 Name = BAIDUPSID Value = B07B663B645729F11F659C02AAE65B4C Name = H_PS_PSSID Value = 12527_11076_1438_10633 Name = BDSVRTM Value = 0 Name = BD_HOME Value = 0
二、保存 Cookie 到文件
在上面的方法中,我們將 cookie 保存到了cookie這個變量中,如果我們想將cookie保存到文件中該怎么做呢?這時,我們就要用到FileCookieJar這個對象了,在這里我們使用它的子類MozillaCookieJar來實現(xiàn)Cookie的保存
import cookielib import urllib2 #設置保存cookie的文件,同級目錄下的cookie.txt filename = 'cookie.txt' #聲明一個MozillaCookieJar對象實例來保存cookie,之后寫入文件 cookie = cookielib.MozillaCookieJar(filename) #利用urllib2庫的HTTPCookieProcessor對象來創(chuàng)建cookie處理器 handler = urllib2.HTTPCookieProcessor(cookie) #通過handler來構建opener opener = urllib2.build_opener(handler) #創(chuàng)建一個請求,原理同urllib2的urlopen response = opener.open("http://www.baidu.com") #保存cookie到文件 cookie.save(ignore_discard=True, ignore_expires=True)
三、從文件中獲取 Cookie 并訪問
那么我們已經(jīng)做到把 Cookie 保存到文件中了,如果以后想使用,可以利用下面的方法來讀取cookie并訪問網(wǎng)站,感受一下
import cookielib import urllib2 #創(chuàng)建MozillaCookieJar實例對象 cookie = cookielib.MozillaCookieJar() #從文件中讀取cookie內(nèi)容到變量 cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True) #創(chuàng)建請求的request req = urllib2.Request("http://www.baidu.com") #利用urllib2的build_opener方法創(chuàng)建一個opener opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie)) response = opener.open(req) print response.read()
拓展:
cookielib 模塊的主要作用是提供可存儲cookie的對象,以便于與urllib2模塊配合使用來訪問Internet資源。Cookielib模塊非常強大,我們可以利用本模塊的CookieJar類的對象來捕獲cookie并在后續(xù)連接請求時重新發(fā)送,比如可以實現(xiàn)模擬登錄功能。該模塊主要的對象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。 它們的關系:CookieJar—— 派生 ——>FileCookieJar—— 派生 ——->MozillaCookieJar和LWPCookieJar
以上是python爬蟲Cookie的使用方法的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對大家有所幫助,如果還想學習更多知識,歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道!