小編給大家分享一下python中urllib的使用方法,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
成都創(chuàng)新互聯(lián)專業(yè)提供成都主機(jī)托管四川主機(jī)托管成都服務(wù)器托管四川服務(wù)器托管,支持按月付款!我們的承諾:貴族品質(zhì)、平民價(jià)格,機(jī)房位于中國電信/網(wǎng)通/移動(dòng)機(jī)房,成都天府聯(lián)通服務(wù)器托管服務(wù)有保障!
在python3中,urllib和urllib2進(jìn)行了合并,現(xiàn)在只有一個(gè)urllib模塊,urllib和urllib2的中的內(nèi)容整合進(jìn)了urllib.request,urlparse整合進(jìn)了urllib.parse。
urlparse 將urlstr解析成各個(gè)組件
import urllib.request import urllib.parse url = "http://www.baidu.com" parsed = urllib.parse.urlparse(url) print(parsed) #輸出:ParseResult(scheme='http', netloc='www.baidu.com', path='', params='', query='', fragment='')
urljoin(baseurl,newurl,allowFrag=None) 將url的根域名和新url拼合成一個(gè)完整的url
import urllib.parse url = "http://www.baidu.com" new_path = urllib.parse.urljoin(url,"index.html") print(new_path) #輸出:http://www.baidu.com/index.html
urlopen(url,data,timeout) 打開一個(gè)url的方法,返回一個(gè)文件對(duì)象,然后可以進(jìn)行類似文件對(duì)象的操作
import urllib.request req = urllib.request.urlopen('http://www.baidu.com') print(req.read())
read() , readline() , readlines() , fileno() , close()
info():返回一個(gè)httplib.HTTPMessage 對(duì)象,表示遠(yuǎn)程服務(wù)器返回的頭信息。 getcode():返回Http狀態(tài)碼,如果是http請(qǐng)求,200表示請(qǐng)求成功完成;404表示網(wǎng)址未找到。 geturl():返回請(qǐng)求的url。
urlretrieve(url,filename,reporthook,data) 下載url定位到的html文件,不寫路徑filename則會(huì)被存為臨時(shí)文件可以用 urllib.urlcleanup() 來清理緩存
file_name = urllib.request.urlretrieve('http://www.baidu.com','%s/baidu.html'%BASE_DIR)
urlencode() 將dict中的鍵值對(duì)以連接符&劃分
import urllib.parse dic = {'name':'melon','age':18} data = urllib.parse.urlencode(dic) print(data) #age=18&name=melon
GET請(qǐng)求
GET請(qǐng)求 和我們平常get訪問方式一樣,直接把參數(shù)寫到網(wǎng)址上面就好了
import urllib.request import urllib.parse dic = {'name':'melon','age':18} data = urllib.parse.urlencode(dic) req = urllib.request.urlopen('http://127.0.0.1:8000/index?%s'%data) content = req.read()
POST請(qǐng)求
import urllib.request import urllib.parse import json dic = {'name':'melon','age':18} data = urllib.parse.urlencode(dic) req = urllib.request.Request('http://127.0.0.1:8000/index', data.encode()) opener = urllib.request.urlopen(req) content = json.loads(opener.read().decode())
當(dāng)你 urllib.urlopen一個(gè) https 的時(shí)候會(huì)驗(yàn)證一次 SSL 證書,當(dāng)目標(biāo)使用的是自簽名的證書時(shí)就會(huì)出現(xiàn)一個(gè)URLError,如果是這樣可以在開頭加上
import ssl ssl._create_default_https_context = ssl._create_unverified_context
以上是python中urllib的使用方法的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對(duì)大家有所幫助,如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!