綜述

成都服務(wù)器托管，成都創(chuàng)新互聯(lián)公司提供包括服務(wù)器租用、成都電信服務(wù)器托管、帶寬租用、云主機(jī)、機(jī)柜租用、主機(jī)租用托管、CDN網(wǎng)站加速、域名注冊(cè)等業(yè)務(wù)的一體化完整服務(wù)。電話咨詢：028-86922220

本系列文檔用于對(duì)Python爬蟲(chóng)技術(shù)進(jìn)行簡(jiǎn)單的教程講解，鞏固自己技術(shù)知識(shí)的同時(shí)，萬(wàn)一一不小心又正好對(duì)你有用那就更好了。

Python 版本是3.7.4

urllib庫(kù)介紹

它是 Python 內(nèi)置的HTTP請(qǐng)求庫(kù)，也就是說(shuō)我們不需要額外安裝即可使用，它包含四個(gè)模塊(主要對(duì)前三個(gè)模塊進(jìn)行學(xué)習(xí))：

• request : 它是最基本的 HTTP 請(qǐng)求模塊，我們可以用它來(lái)模擬發(fā)送一請(qǐng)求，就像在瀏覽器里輸入網(wǎng)址然后敲擊回車(chē)一樣，只需要給庫(kù)方法傳入 URL 還有額外的參數(shù)，就可以模擬實(shí)現(xiàn)這個(gè)過(guò)程了。
• error : 異常處理模塊，如果出現(xiàn)請(qǐng)求錯(cuò)誤，我們可以捕獲這些異常，然后進(jìn)行重試或其他操作保證程序不會(huì)意外終止。
• parse : 用于解析URL，提供了許多URL處理方法，比如拆分、解析、合并等等的方法，以及對(duì)參數(shù)的拼接等待。
• robotparser : 主要是用來(lái)識(shí)別網(wǎng)站的robots.txt協(xié)議文件，然后判斷網(wǎng)站的那些數(shù)據(jù)可以爬，哪些數(shù)據(jù)不可以爬的，其實(shí)用的比較少。
  

urllib.request 介紹

urlopen()

1.參數(shù)說(shuō)明(僅寫(xiě)了四個(gè)最常用的參數(shù))

url : 爬取目標(biāo)的URL；
data : 請(qǐng)求參數(shù)，如果設(shè)置該參數(shù)，則請(qǐng)求默認(rèn)為post請(qǐng)求；沒(méi)有默認(rèn)為get請(qǐng)求；
timeout : 用于設(shè)置超時(shí)時(shí)間，單位為秒；
context : 必須是一個(gè)ssl.SSLContext類(lèi)型,用來(lái)指定SSL設(shè)置,忽略未認(rèn)證的CA證書(shū);

2.具體用法

GET 請(qǐng)求方式

# 導(dǎo)入urllib庫(kù)
import urllib.request
 
 # 向指定的url發(fā)送請(qǐng)求，并返回服務(wù)器響應(yīng)的類(lèi)文件對(duì)象
 url = "http://www.baidu.com"
 response = urllib.request.urlopen(url=url)
 print(type(response))
 
 # 類(lèi)文件對(duì)象支持文件對(duì)象的操作方法，如read()方法讀取文件全部?jī)?nèi)容，返回字符串
 html = response.read()
 # html = response.readline() # 讀取一行
 # html = response.readlines() # 讀取多行，返回列表
 # 打印響應(yīng)結(jié)果（byte類(lèi)型）
 print(html)
 # 打印響應(yīng)結(jié)果（utf-8類(lèi)型）
 # 二進(jìn)制和字符串之間的相互轉(zhuǎn)碼使用 encode() 和 decode() 函數(shù)
 # encode() 和 decode() 可帶參數(shù)，不寫(xiě)默認(rèn)utf-8，其他不再特別說(shuō)明
 print(html.decode())
 # 打印狀態(tài)碼
 # print(response.get_code())
 print(response.status)
 # 獲取響應(yīng)頭
 print(response.getheaders())
 # 獲取響應(yīng)頭Server信息
 print(response.getheader('Server'))
 # 獲取響應(yīng)結(jié)果原因
 print(response.reason)

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前文章：Python爬蟲(chóng)之urllib基礎(chǔ)用法教程-創(chuàng)新互聯(lián)
網(wǎng)站路徑：http://weahome.cn/article/dpicig.html