創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務(wù)器提供商,新人活動買多久送多久,劃算不套路!
目前創(chuàng)新互聯(lián)建站已為上千多家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)頁空間、網(wǎng)站托管、服務(wù)器托管、企業(yè)網(wǎng)站設(shè)計、迪慶州網(wǎng)站維護(hù)等服務(wù),公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略,正道將秉承"和諧、參與、激情"的文化,與客戶和合作伙伴齊心協(xié)力一起成長,共同發(fā)展。小編給大家分享一下python中urllib2的使用方法,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討吧!
urlopen函數(shù)
urllib2.urlopen(url[, data[, timeout[, cafile[, capath[, cadefault[, context]]]]])
注:
url表示目標(biāo)網(wǎng)頁地址,可以是字符串,也可以是請求對象Request
req= urllib2.Request(url, data,headers) response = urllib2.urlopen(req,timeout=3)
data表示post方式提交給目標(biāo)服務(wù)器的參數(shù)
data = urllib.urlencode(data)
import urllib,urllib2 action_url="http://www.xxxxxx.com/post"#用于測試post的網(wǎng)址,返回提交的數(shù)據(jù) values={'name':"alice",'age':20} data=urllib.urlencode(values)#對表單數(shù)據(jù)編碼 rqst=urllib2.Request(action_url,data) response=urllib2.urlopen(rqst)#模擬提交表單數(shù)據(jù)到url并獲得響應(yīng)
timeout表示超時時間設(shè)置。
返回值
response.read()返回頁面內(nèi)容
response.info()返回網(wǎng)頁信息
response.geturl()返回連接地址
這個函數(shù)可以像urllib.urlopen()那樣以url做參數(shù)。也能以Request實例為參數(shù),即用一個Request對象(下文構(gòu)造方法)來映射你提出的HTTP請求,在它最簡單的使用形式中你將用你要請求的地址創(chuàng)建一個Request對象,這個Request對象中可以設(shè)置傳輸數(shù)據(jù)、headers等。通過調(diào)用urlopen并傳入Request對象,將返回一個file-like對象。urllib2還提供了接口來處理一般情況,例如:基礎(chǔ)驗證,cookies,代理和其他,它們通過handlers和openers的對象實現(xiàn)。
2、Request函數(shù)
urllib2.Request(url[, data][, headers][, origin_req_host][, unverifiable])
用于構(gòu)造Request對象,可以傳遞data數(shù)據(jù),添加請求頭(headers)等,構(gòu)造好后作為urllib2.urlopen()的參數(shù)。
注:
url表示目標(biāo)網(wǎng)頁地址,可以是字符串,也可以是請求對象Request
data表示post方式提交給目標(biāo)服務(wù)器的參數(shù)
headers表示用戶標(biāo)識,是一個字典類型的數(shù)據(jù),有些不允許腳本的抓取,所以需要用戶代理,像火狐瀏覽器的代理就是類似:Mozilla/5.0 (X11; U; Linux i686)Gecko/20071127 Firefox/2.0.0.11
瀏覽器的標(biāo)準(zhǔn)UA格式為:瀏覽器標(biāo)識 (操作系統(tǒng)標(biāo)識; 加密等級標(biāo)識; 瀏覽器語言) 渲染引擎標(biāo)識 版本信息 ,headers默認(rèn)是Python-urllib/2.6
origin_req_host表示請求方的主機域名或者ip地址。
headers = {'User-Agent':'Mozilla/5.0 (X11; U; Linux i686)Gecko/20071127 Firefox/2.0.0.11'}
import urllib import urllib2 url = 'http://www.weibo.cn/' user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' h = { 'User-Agent' : user_agent } req = urllib2.Request(url,headers=h) response = urllib2.urlopen(req) print response.read()
3、build_opener()
build_opener([handler1 [ handler2, ... ]])
urllib2.urlopen()函數(shù)不支持驗證、cookie或者其它HTTP高級功能。要支持這些功能,必須使用build_opener()函數(shù)創(chuàng)建自定義Opener對象。
參數(shù)handler是Handler實例,常用的有HTTPBasicAuthHandler、HTTPCookieProcessor、ProxyHandler等。
build_opener ()返回的對象具有open()方法,與urlopen()函數(shù)的功能相同。
如果要修改http報頭,可以用:
import urllib2 opener = urllib2.build_opener() opener.addheaders = [('User-agent', 'Mozilla/5.0')] opener.open('http://www.example.com/')
看完了這篇文章,相信你對python中urllib2的使用方法有了一定的了解,想了解更多相關(guān)知識,歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道,感謝各位的閱讀!