因?yàn)樵谕鍼ython challenge的時候，有用過這個模塊，而且學(xué)習(xí)這個模塊之后也對系統(tǒng)學(xué)習(xí)網(wǎng)絡(luò)爬蟲有用。
當(dāng)時查了各種資料學(xué)習(xí)，沒有碰官網(wǎng)文檔（因?yàn)檫€是對英語有抗拒性），但是還是官方的文檔最具權(quán)威和學(xué)習(xí)價值，因此想要此次翻譯官方文檔的同時，鍛煉自己的英語能力，也對urllib模塊加深理解。
因?yàn)槭菫榱俗约簭?fù)習(xí)起來方便~所以就不一句英語一句中文的對照著翻了，有興趣看原版的，自己點(diǎn)官方文檔吧~
翻譯不足之處，請多指教
—我是分割線——-
Python 3.x版本后的urllib和urllib2
現(xiàn)在的Python已經(jīng)出到了3.5.2
在Python 3以后的版本中，urllib2這個模塊已經(jīng)不單獨(dú)存在（也就是說當(dāng)你import urllib2時，系統(tǒng)提示你沒這個模塊），urllib2被合并到了urllib中，叫做urllib.request 和 urllib.error 。
urllib整個模塊分為urllib.request, urllib.parse, urllib.error。
例：
其中urllib2.urlopen()變成了urllib.request.urlopen()
urllib2.Request()變成了urllib.request.Request()
urllib和urllib2模塊之間的區(qū)別
在python中，urllib和urllib2不可相互替代的。
整體來說，urllib2是urllib的增強(qiáng)，但是urllib中有urllib2中所沒有的函數(shù)。
urllib2可以用urllib2.openurl中設(shè)置Request參數(shù)，來修改Header頭。如果你訪問一個網(wǎng)站，想更改User Agent（可以偽裝你的瀏覽器），你就要用urllib2.
urllib支持設(shè)置編碼的函數(shù)，urllib.urlencode,在模擬登陸的時候，經(jīng)常要post編碼之后的參數(shù)，所以要想不使用第三方庫完成模擬登錄，你就需要使用urllib。
urllib一般和urllib2一起搭配使用
官方文檔地址
翻譯的是Python 3.5.2版本，對應(yīng)的urllib
https://docs.python.org/3.5/library/urllib.html
urllib整體介紹
原地址：https://docs.python.org/3.5/library/urllib.html
翻譯的對應(yīng)的是21.6. urllib.request — Extensible library for opening URLs
urllib- - - - - - URL處理模塊
源代碼:Lib / urllib /
urllib是一個包,收集幾個模塊來處理網(wǎng)址:
urllib.request打開和瀏覽url中內(nèi)容
urllib.error包含從 urllib.request發(fā)生的錯誤或異常
urllib.parse解析url
urllib.robotparser解析 robots.txt文件
urllib.request
原地址：
https://docs.python.org/3.5/library/urllib.request.html#module-urllib.request
urllib.request — 為打開url提供的可擴(kuò)展類庫
源代碼:Lib / urllib / request.py
urllib.request模塊定義了方法和類,幫助打開url(主要是HTTP)在一個復(fù)雜的世界——基本和摘要式身份驗(yàn)證,重定向,cookies等等。
————-urllib.request模塊定義了以下功能：—————–
urllib.request.urlopen()
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
打開網(wǎng)址URL,這可以是一個字符串或一個 Request對象。
數(shù)據(jù)必須是一個字節(jié)對象指定額外的數(shù)據(jù)發(fā)送到服務(wù)器或 None。如果沒有這樣的數(shù)據(jù)是必要的，數(shù)據(jù)也可能是一個iterable對象而且在這種情況下必須在最開始時指定內(nèi)容的長度。目前HTTP是唯一一個這樣請求數(shù)據(jù)的，當(dāng)數(shù)據(jù)參數(shù)被提供時，HTTP請求將會執(zhí)行POST請求而不是GET請求。
數(shù)據(jù)應(yīng)該是一個緩沖的在標(biāo)準(zhǔn)應(yīng)用程序中以 x-www-form-urlencoded的格式。 urllib.parse.urlencode()函數(shù)接受一個映射或序列集合,并返回一個ASCII文本字符串的格式。它應(yīng)該在被用作數(shù)據(jù)參數(shù)之前，被編碼為字節(jié)。
urllib.request 模塊 使用 HTTP/1.1協(xié)議，并且包括請求 Connection:close在HTTP請求頭。
可選的第二個超時參數(shù)timeout，用于阻塞操作,比如連接請求(如果未指定,全球?qū)⑹褂媚J(rèn)超時設(shè)置)。這實(shí)際上只適用于HTTP、HTTPS和FTP連接。
如果context被指定，它必須是一個 ssl.SSLContext實(shí)例描述各種SSL選項(xiàng)。點(diǎn)擊HTTPSConnection查看更多細(xì)節(jié)。
可選cafile和capath參數(shù)指定一組被HTTPS請求信任的CA證書。cafile應(yīng)該指向一個文件包含CA證書的包,而capath應(yīng)該指向一個散列的證書文件的目錄。點(diǎn)擊ssl.SSLContext.load_verify_locations()查看更多的信息。
cadefault參數(shù)被忽略。
這個函數(shù)始終返回一個對象，像context（上下文） 管理者并提供這些方法
geturl()——返回URL的資源檢索,常常重定向之后使用
info()——返回頁面的元信息,如標(biāo)題，組成 email.message_from_string(的)實(shí)例(見快速參考HTTP頭)
getcode()——返回響應(yīng)的HTTP狀態(tài)代碼。
為HTTP和HTTPS url，這個函數(shù)返回的一個 http.client.HTTPResponse對象略有不同。除了上面的三種新方法中，這個message屬性包含相同的信息像reason屬性——由服務(wù)器返回的原因——而不是響應(yīng)頭,因?yàn)樗谖臋n中指定 HTTPResponse。
FTP、文件和數(shù)據(jù)請求url和顯式地處理 URLopener和 FancyURLopener類，這個函數(shù)返回一個 urllib.response.addinfourl對象。
urllib.request.urlopen()會在 URLError中拋出協(xié)議錯誤。
請注意,，可能返回None，這在沒有處理程序處理請求(盡管全球默認(rèn)安裝 OpenerDirector并使用 UnknownHandler以確保這不會發(fā)生)時發(fā)生。
此外，如果檢測到代理設(shè)置(例如,當(dāng)一個 *_proxy環(huán)境變量如 http_proxy已經(jīng)被設(shè)定),，ProxyHandler默認(rèn)安裝并確保請求都通過代理來處理。
遺留的 urllib.urlopen從Python 2.6和更早已經(jīng)被中斷;；urllib.request.urlopen()對應(yīng)于舊的 urllib2.urlopen。代理處理,是通過字典參數(shù)完成的 urllib.urlopen可以使用 ProxyHandler對象。
3.2版本的變化：cafile和capath被補(bǔ)充。
3.2版本的變化：如果可能的話，現(xiàn)在支持HTTPS虛擬主機(jī)(也就是說，如果 ssl.HAS_SNI是真的)。
在新的3.2版本：數(shù)據(jù)可以是一個iterable對象。
3.3版本的變化：cadefault被補(bǔ)充。
3.4.3版本的變化：context被補(bǔ)充。
urllib.request.install_opener(opener)
安裝一個 OpenerDirector實(shí)例作為全球默認(rèn)的opener 。安裝一個opener 必要的,如果你想讓urlopen使用這個opener ;否則,簡單地調(diào)用 OpenerDirector.open()而不是 urlopen()。這樣代碼不會檢查一個真實(shí)的 OpenerDirector并且任何類的適當(dāng)?shù)慕涌诙伎梢赃\(yùn)作。
urllib.request.build_opener([handler, …])
返回一個順序的鏈的處理程序 OpenerDirector的實(shí)例。處理程序可以是BaseHandler的實(shí)例,或者 BaseHandler的子類(在這種情況下,必須調(diào)用沒有參數(shù)的構(gòu)造函數(shù))。下面這些類的實(shí)例將提前處理程序,除非處理程序包含它們，或者它們子類的實(shí)例：ProxyHandler(如果檢測到代理設(shè)置), UnknownHandler, HTTPHandler, HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor.
如果Python安裝SSL支持(即如果 ssl模塊可以被導(dǎo)入)， HTTPSHandler也將被添加。
一個 BaseHandler子類也可以通過改變它的 handler_order屬性來修改它再處理程序列表中的位置。
urllib.request.pathname2url(path)
將路徑名轉(zhuǎn)換成路徑，從本地語法形式的路徑中使用一個URL的路徑組成部分。這不會產(chǎn)生一個完整的URL。它將返回引用 quote()函數(shù)的值。
urllib.request.url2pathname(path)
將路徑組件轉(zhuǎn)換為本地路徑的語法。這個不接受一個完整的URL。這個函數(shù)使用 unquote()解碼的通路。
urllib.request.getproxies()
這個helper函數(shù)返回一個日程表dictionary 去代理服務(wù)器的URL映射。掃描指定的環(huán)境變量 _proxy大小寫不敏感的方法,對所有的操作系統(tǒng)，當(dāng)它不能找到它，從Mac OS X的Mac OSX系統(tǒng)配置和Windows系統(tǒng)注冊表中尋找代理信息。如果兩個大寫和小寫環(huán)境變量存在(或不一樣)，小寫優(yōu)先。
請注意，如果環(huán)境變量 REQUEST_METHOD已被設(shè)置,這通常表明你在CGI腳本運(yùn)行環(huán)境,此時環(huán)境變量 HTTP_PROXY(大寫 _PROXY)將被忽略。這是因?yàn)樵撟兞靠梢员豢蛻舳耸褂米⑸洹按?”HTTP頭。如果你需要使用一個HTTP代理在CGI環(huán)境中,要么使用 ProxyHandler明確,或者確保變量名小寫(或至少是 _proxy后綴)。
——提供以下類：—————————————
類 urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)
這個類是一個抽象的URL請求。
url應(yīng)該是一個字符串包含一個有效的url。
數(shù)據(jù)必須是一個字節(jié)對象指定額外的數(shù)據(jù)發(fā)送到服務(wù)器或 None。如果沒有這樣的數(shù)據(jù)是必要的，數(shù)據(jù)也可能是一個iterable對象而且在這種情況下必須在最開始時指定內(nèi)容的長度。目前HTTP是唯一一個這樣請求數(shù)據(jù)的，當(dāng)數(shù)據(jù)參數(shù)被提供時，HTTP請求將會執(zhí)行POST請求而不是GET請求。
數(shù)據(jù)應(yīng)該是一個緩沖的在標(biāo)準(zhǔn)應(yīng)用程序中以 x-www-form-urlencoded的格式。 urllib.parse.urlencode()函數(shù)接受一個映射或序列集合,并返回一個ASCII文本字符串的格式。它應(yīng)該在被用作數(shù)據(jù)參數(shù)之前，被編碼為字節(jié)。
headers 應(yīng)該是一個字典，如果 add_header()被稱為與每個鍵和值作為參數(shù)。這通常是用來“惡搞” User-Agent頭的值，因?yàn)槭褂靡粋€瀏覽器識別本身——一些常見HTTP服務(wù)器只允許請求來自瀏覽器而不是腳本。例如，Mozilla Firefox可能識別本身 “Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11”。而 urllib默認(rèn)的用戶代理字符串 是”Python-urllib/2.6”在Python 2.6（）。
一個Content-Type header的例子 用數(shù)據(jù)論證將發(fā)送一個字典 {“Content-Type”:”application/x-www-form-urlencoded”}。
最后兩個參數(shù)只是正確處理第三方HTTP cookie：
origin_req_host應(yīng)該請求原始的主機(jī)交易，就像定義的RFC 2965。它默認(rèn)為 http.cookiejar.request_host(self)。這是原始請求的主機(jī)名或IP地址，由用戶發(fā)起。例如。如果請求是一個圖像在HTML文檔中，這應(yīng)該是請求的請求主機(jī)包含圖像的頁面。
無法核實(shí)的表明是否應(yīng)該請求是無法核實(shí)的，這由RFC 2965定義。它默認(rèn)為 False。一個無法核實(shí)的請求的URL的用戶沒有允許的選擇。例如，如果請求是一個圖像在一個HTML文檔,和用戶沒有選擇通過圖像的自動抓取，這應(yīng)該是正確的。
這個方法應(yīng)該是一個字符串,表示將使用(如HTTP請求方法。 ‘HEAD’)。如果提供，其值是存儲在 method屬性和使用 get_method()。通過設(shè)置子類可能表明一個默認(rèn)的方法 method類本身的屬性。
3.3版本的變化:：Request.method參數(shù)是添加到請求類。
3.4版本的變化：默認(rèn)的 Request.method可能會顯示在類級別。
類urllib.request.OpenerDirector
OpenerDirector類打開url并通過 BaseHandler連接在一起。它管理處理程序的連接,和恢復(fù)錯誤。
類 urllib.request.BaseHandler
這是對于所有已注冊的處理程序的基類
類 urllib.request.HTTPRedirectHandler
一個類來處理重定向
類urllib.request.HTTPCookieProcessor(cookiejar=None)
一個類來處理HTTP cookie。
類 urllib.request.ProxyHandler(proxies=None)
導(dǎo)致請求通過一個代理。如果代理是給定的，它必須是一個字典的代理協(xié)議名稱映射到url。默認(rèn)值是從環(huán)境變量的列表 _proxy中讀取代理。如果沒有代理設(shè)置環(huán)境變量，那么在Windows環(huán)境中代理設(shè)置了從注冊表部分的網(wǎng)絡(luò)設(shè)置，在Mac OS X環(huán)境代理信息檢索的OS X系統(tǒng)配置框架。
禁用一個代理傳遞一個空的字典。
no_proxy環(huán)境變量可以被用來指定主機(jī)不能通過代理；如果設(shè)置,它應(yīng)該是一個以逗號分隔的主機(jī)名后綴?？蛇x ：port附加為例 cern.ch,ncsa.uiuc.edu,some.host:8080.
請注意HTTP_PROXY如果一個變量將被忽略 REQUEST_METHOD設(shè)置;參見文檔 getproxies().
類 urllib.request.HTTPPasswordMgr
保持一個數(shù)據(jù)庫 (realm, uri) -> (user, password)映射。
類 urllib.request.HTTPPasswordMgrWithDefaultRealm
保持一個數(shù)據(jù)庫 (realm, uri) -> (user, password)映射。一個領(lǐng)域 None被認(rèn)為是一個全方位領(lǐng)域,如果沒有其他搜索領(lǐng)域
類 urllib.request.HTTPPasswordMgrWithPriorAuth
一個變體 HTTPPasswordMgrWithDefaultRealm還有一個數(shù)據(jù)庫 uri -> is_authenticated的映射?？梢允褂肂asicAuth處理程序來確定當(dāng)發(fā)送身份驗(yàn)證憑證立即而不是等待 401響應(yīng)。
類 urllib.request.AbstractBasicAuthHandler(password_mgr=None)
這是mixin類,幫助與HTTP身份驗(yàn)證,遠(yuǎn)程主機(jī)和代理。果有password_mgr,應(yīng)該是兼容 HTTPPasswordMgr的。請參閱部分 HTTPPasswordMgr對象必須支持的接口信息。如果passwd_mgr還提供了 is_authenticated和 update_authenticated方法(見 HTTPPasswordMgrWithPriorAuth對象),然后處理程序?qū)⑹褂?is_authenticated結(jié)果對于一個給定的URI來決定是否發(fā)送請求的身份驗(yàn)證憑證。如果 is_authenticated返回 TrueURI,憑證發(fā)送。如果 is_authenticated是 False憑證不發(fā)送,然后如果 401收到響應(yīng)請求發(fā)送身份驗(yàn)證憑證。如果身份驗(yàn)證成功, update_authenticated被稱為設(shè)置 is_authenticated TrueURI,這樣后續(xù)請求的URI或任何super-URIs將自動包括身份驗(yàn)證憑證。
在新的3.5版本:添加 is_authenticated支持。
類 urllib.request.HTTPBasicAuthHandler(password_mgr=None)
與遠(yuǎn)程主機(jī)處理身份驗(yàn)證。如果有password_mgr，應(yīng)該是兼容HTTPPasswordMgr的。請參閱部分 HTTPPasswordMgr對象必須支持的接口信息。HTTPBasicAuthHandler將提高 ValueError當(dāng)面對一個錯誤的身份驗(yàn)證方案。
類 urllib.request.ProxyBasicAuthHandler(password_mgr=None)
處理與代理身份的驗(yàn)證。如果有password_mgr,應(yīng)該是兼容 HTTPPasswordMgr的。請參閱部分 HTTPPasswordMgr對象必須支持的接口信息。
類urllib.request.AbstractDigestAuthHandler(password_mgr=None)
這是mixin類,幫助與HTTP身份驗(yàn)證,遠(yuǎn)程主機(jī)和代理。password_mgr,如果有,應(yīng)該是兼容的 HTTPPasswordMgr;請參閱部分 HTTPPasswordMgr對象必須支持的接口信息
類urllib.request.HTTPDigestAuthHandler(password_mgr=None)
與遠(yuǎn)程主機(jī)處理身份驗(yàn)證。如果有password_mgr，應(yīng)該是兼容 HTTPPasswordMgr的；請參閱部分 HTTPPasswordMgr對象必須支持的接口信息。摘要式身份驗(yàn)證處理程序和基本身份驗(yàn)證處理器都是補(bǔ)充說,摘要式身份驗(yàn)證總是嘗試第一次。如果主機(jī)返回一個40 x再次回應(yīng),它發(fā)送到基本身份驗(yàn)證處理程序來處理。這個處理程序方法將提高 ValueError當(dāng)面對除了消化或基本身份驗(yàn)證方案。
3.3版本的變化:提高 ValueError不支持的身份驗(yàn)證方案。
類urllib.request.ProxyDigestAuthHandler(password_mgr=None)
處理與代理身份驗(yàn)證。如果有password_mgr，應(yīng)該是兼容 HTTPPasswordMgr的；請參閱部分 HTTPPasswordMgr對象必須支持的接口信息
類 urllib.request.HTTPHandler
一個類來處理HTTP url
類 urllib.request.HTTPSHandler(debuglevel=0, context=None, check_hostname=None)
一個類來處理開放的HTTPS url。在context 文和check_hostname有相同的意義 http.client.HTTPSConnection.
3.2版本的變化:context and check_hostname被補(bǔ)充。
類 urllib.request.FileHandler
打開本地文件
類 urllib.request.DataHandler
開放數(shù)據(jù)的url
類 urllib.request.FTPHandler
開放的FTP url
類 urllib.request.CacheFTPHandler
打開FTP url,保持打開的FTP連接緩存來減少延遲
類 urllib.request.UnknownHandler
全方位類處理未知的url。
類 urllib.request.HTTPErrorProcessor
HTTP錯誤響應(yīng)過程。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
重慶分公司
重慶分公司
