這篇文章主要介紹了Python3爬蟲中文件上傳的基本操作，具有一定借鑒價(jià)值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
興安盟烏蘭浩特網(wǎng)站建設(shè)公司成都創(chuàng)新互聯(lián)公司,興安盟烏蘭浩特網(wǎng)站設(shè)計(jì)制作，有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為興安盟烏蘭浩特成百上千提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\成都外貿(mào)網(wǎng)站建設(shè)公司要多少錢，請找那個(gè)售后服務(wù)好的興安盟烏蘭浩特做網(wǎng)站的公司定做！
1. 文件上傳
我們知道requests可以模擬提交一些數(shù)據(jù)。假如有的網(wǎng)站需要上傳文件，我們也可以用它來實(shí)現(xiàn)，這非常簡單，示例如下：
import requests
files = {'file': open('favicon.ico', 'rb')}
r = requests.post("http://httpbin.org/post", files=files)
print(r.text)在前一節(jié)中我們保存了一個(gè)文件favicon.ico，這次用它來模擬文件上傳的過程。需要注意的是，favicon.ico需要和當(dāng)前腳本在同一目錄下。如果有其他文件，當(dāng)然也可以使用其他文件來上傳，更改下代碼即可。
運(yùn)行結(jié)果如下：
{
"args": {},
"data": "",
"files": {
"file": "data:application/octet-stream;base64,AAAAAA...="
},
"form": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Content-Length": "6665",
"Content-Type": "multipart/form-data; boundary=809f80b1a2974132b133ade1a8e8e058",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.10.0"
},
"json": null,
"origin": "60.207.237.16",
"url": "http://httpbin.org/post"
}以上省略部分內(nèi)容，這個(gè)網(wǎng)站會(huì)返回響應(yīng)，里面包含files這個(gè)字段，而form字段是空的，這證明文件上傳部分會(huì)單獨(dú)有一個(gè)files字段來標(biāo)識(shí)。
2. Cookies
前面我們使用urllib處理過Cookies，寫法比較復(fù)雜，而有了requests，獲取和設(shè)置Cookies只需一步即可完成。
我們先用一個(gè)實(shí)例看一下獲取Cookies的過程：
import requests
r = requests.get("https://www.baidu.com")
print(r.cookies)
for key, value in r.cookies.items():
print(key + '=' + value)運(yùn)行結(jié)果如下：
, ]>
BDORZ=27315
__bsi=13533594356813414194_00_14_N_N_2_0303_C02F_N_N_N_0
這里我們首先調(diào)用cookies屬性即可成功得到Cookies，可以發(fā)現(xiàn)它是RequestCookieJar類型。然后用items()方法將其轉(zhuǎn)化為元組組成的列表，遍歷輸出每一個(gè)Cookie的名稱和值，實(shí)現(xiàn)Cookie的遍歷解析。
當(dāng)然，我們也可以直接用Cookie來維持登錄狀態(tài)，下面以知乎為例來說明。首先登錄知乎，將Headers中的Cookie內(nèi)容復(fù)制下來，如圖3-6所示。
圖3-6 Cookie
這里可以替換成你自己的Cookie，將其設(shè)置到Headers里面，然后發(fā)送請求，示例如下：
import requests
headers = {
'Cookie': 'q_c1=31653b264a074fc9a57816d1ea93ed8b|1474273938000|1474273938000; d_c0="AGDAs254kAqPTr6NW1U3XT
LFzKhMPQ6H_nc=|1474273938"; __utmv=51854390.100-1|2=registration_date=20130902=1^3=entry_date=20130902=1;
a_t="2.0AACAfbwdAAAXAAAAso0QWAAAgH28HQAAAGDAs254kAoXAAAAYQJVTQ4FCVgA360us8BAklzLYNEHUd6kmHtRQX5a6hiZxKCy
nnycerLQ3gIkoJLOCQ==";z_c0=Mi4wQUFDQWZid2RBQUFBWU1DemJuaVFDaGNBQUFCaEFsVk5EZ1VKV0FEZnJTNnp3RUNTWE10ZzBR
ZFIzcVNZZTFGQmZn|1474887858|64b4d4234a21de774c42c837fe0b672fdb5763b0',
'Host': 'www.zhihu.com',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/53.0.2785.116 Safari/537.36',
}
r = requests.get('https://www.zhihu.com', headers=headers)
print(r.text)我們發(fā)現(xiàn)，結(jié)果中包含了登錄后的結(jié)果，如圖3-7所示，這證明登錄成功。
圖3-7 運(yùn)行結(jié)果
當(dāng)然，你也可以通過cookies參數(shù)來設(shè)置，不過這樣就需要構(gòu)造RequestsCookieJar對象，而且需要分割一下cookies。這相對煩瑣，不過效果是相同的，示例如下：
import requests
cookies = 'q_c1=31653b264a074fc9a57816d1ea93ed8b|1474273938000|1474273938000;
d_c0="AGDAs254kAqPTr6NW1U3XTLFzKhMPQ6H_nc=|1474273938";
__utmv=51854390.100-1|2=registration_date=20130902=1^3=entry_date=20130902=1;
a_t="2.0AACAfbwdAAAXAAAAso0QWAAAgH28HQAAAGDAs254kAoXAAAAYQJVTQ4FCVgA360us8BAklzLYNEHUd6kmHtRQX5a6hiZxKC
ynnycerLQ3gIkoJLOCQ==";z_c0=Mi4wQUFDQWZid2RBQUFBWU1DemJuaVFDaGNBQUFCaEFsVk5EZ1VKV0FEZnJTNnp3RUNTWE10ZzBRZF
IzcVNZZTFGQmZn|1474887858|64b4d4234a21de774c42c837fe0b672fdb5763b0'
jar = requests.cookies.RequestsCookieJar()
headers = {
'Host': 'www.zhihu.com',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/53.0.2785.116 Safari/537.36'
}
for cookie in cookies.split(';'):
key, value = cookie.split('=', 1)
jar.set(key, value)
r = requests.get("http://www.zhihu.com", cookies=jar, headers=headers)
print(r.text)這里我們首先新建了一個(gè)RequestCookieJar對象，然后將復(fù)制下來的cookies利用split()方法分割，接著利用set()方法設(shè)置好每個(gè)Cookie的key和value，然后通過調(diào)用requests的get()方法并傳遞給cookies參數(shù)即可。當(dāng)然，由于知乎本身的限制，headers參數(shù)也不能少，只不過不需要在原來的headers參數(shù)里面設(shè)置cookie字段了。
測試后，發(fā)現(xiàn)同樣可以正常登錄知乎。
3. 會(huì)話維持
在requests中，如果直接利用get()或post()等方法的確可以做到模擬網(wǎng)頁的請求，但是這實(shí)際上是相當(dāng)于不同的會(huì)話，也就是說相當(dāng)于你用了兩個(gè)瀏覽器打開了不同的頁面。
設(shè)想這樣一個(gè)場景，第一個(gè)請求利用post()方法登錄了某個(gè)網(wǎng)站，第二次想獲取成功登錄后的自己的個(gè)人信息，你又用了一次get()方法去請求個(gè)人信息頁面。實(shí)際上，這相當(dāng)于打開了兩個(gè)瀏覽器，是兩個(gè)完全不相關(guān)的會(huì)話，能成功獲取個(gè)人信息嗎？那當(dāng)然不能。
有小伙伴可能說了，我在兩次請求時(shí)設(shè)置一樣的cookies不就行了？可以，但這樣做起來顯得很煩瑣，我們有更簡單的解決方法。
其實(shí)解決這個(gè)問題的主要方法就是維持同一個(gè)會(huì)話，也就是相當(dāng)于打開一個(gè)新的瀏覽器選項(xiàng)卡而不是新開一個(gè)瀏覽器。但是我又不想每次設(shè)置cookies，那該怎么辦呢？這時(shí)候就有了新的利器——Session對象。
利用它，我們可以方便地維護(hù)一個(gè)會(huì)話，而且不用擔(dān)心cookies的問題，它會(huì)幫我們自動(dòng)處理好。示例如下：
import requests
requests.get('http://httpbin.org/cookies/set/number/123456789')
r = requests.get('http://httpbin.org/cookies')
print(r.text)這里我們請求了一個(gè)測試網(wǎng)址http://httpbin.org/cookies/set/number/123456789。請求這個(gè)網(wǎng)址時(shí)，可以設(shè)置一個(gè)cookie，名稱叫作number，內(nèi)容是123456789，隨后又請求了http://httpbin.org/cookies，此網(wǎng)址可以獲取當(dāng)前的Cookies。
這樣能成功獲取到設(shè)置的Cookies嗎？試試看。
運(yùn)行結(jié)果如下：
{
"cookies": {}
}這并不行。我們再用Session試試看：
import requests
s = requests.Session()
s.get('http://httpbin.org/cookies/set/number/123456789')
r = s.get('http://httpbin.org/cookies')
print(r.text)再看下運(yùn)行結(jié)果：
{
"cookies": {
"number": "123456789"
}
}成功獲??！這下能體會(huì)到同一個(gè)會(huì)話和不同會(huì)話的區(qū)別了吧！
所以，利用Session，可以做到模擬同一個(gè)會(huì)話而不用擔(dān)心Cookies的問題。它通常用于模擬登錄成功之后再進(jìn)行下一步的操作。
Session在平常用得非常廣泛，可以用于模擬在一個(gè)瀏覽器中打開同一站點(diǎn)的不同頁面，后面會(huì)有專門的章節(jié)來講解這部分內(nèi)容。
4. SSL證書驗(yàn)證
此外，requests還提供了證書驗(yàn)證的功能。當(dāng)發(fā)送HTTP請求的時(shí)候，它會(huì)檢查SSL證書，我們可以使用verify參數(shù)控制是否檢查此證書。其實(shí)如果不加verify參數(shù)的話，默認(rèn)是True，會(huì)自動(dòng)驗(yàn)證。
前面我們提到過，12306的證書沒有被官方CA機(jī)構(gòu)信任，會(huì)出現(xiàn)證書驗(yàn)證錯(cuò)誤的結(jié)果。我們現(xiàn)在訪問它，都可以看到一個(gè)證書問題的頁面，如圖3-8所示。
圖3-8 錯(cuò)誤頁面
現(xiàn)在我們用requests來測試一下：
import requests
response = requests.get('https://www.12306.cn')
print(response.status_code)運(yùn)行結(jié)果如下：
requests.exceptions.SSLError: ("bad handshake: Error([('SSL routines', 'tls_process_server_certificate',
'certificate verify failed')],)",)這里提示一個(gè)錯(cuò)誤SSLError，表示證書驗(yàn)證錯(cuò)誤。所以，如果請求一個(gè)HTTPS站點(diǎn)，但是證書驗(yàn)證錯(cuò)誤的頁面時(shí)，就會(huì)報(bào)這樣的錯(cuò)誤，那么如何避免這個(gè)錯(cuò)誤呢？很簡單，把verify參數(shù)設(shè)置為False即可。相關(guān)代碼如下：
import requests
response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)這樣就會(huì)打印出請求成功的狀態(tài)碼：
/usr/local/lib/python3.6/site-packages/urllib3/connectionpool.py:852: InsecureRequestWarning: Unverified HTTPS
request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io
/en/latest/advanced-usage.html#ssl-warnings
InsecureRequestWarning)
200
不過我們發(fā)現(xiàn)報(bào)了一個(gè)警告，它建議我們給它指定證書。我們可以通過設(shè)置忽略警告的方式來屏蔽這個(gè)警告：
import requests
from requests.packages import urllib3
urllib3.disable_warnings()
response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)或者通過捕獲警告到日志的方式忽略警告：
import logging
import requests
logging.captureWarnings(True)
response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)當(dāng)然，我們也可以指定一個(gè)本地證書用作客戶端證書，這可以是單個(gè)文件（包含密鑰和證書）或一個(gè)包含兩個(gè)文件路徑的元組：
import requests
response = requests.get('https://www.12306.cn', cert=('/path/server.crt', '/path/key'))
print(response.status_code)當(dāng)然，上面的代碼是演示實(shí)例，我們需要有crt和key文件，并且指定它們的路徑。注意，本地私有證書的key必須是解密狀態(tài)，加密狀態(tài)的key是不支持的。
5. 代理設(shè)置
對于某些網(wǎng)站，在測試的時(shí)候請求幾次，能正常獲取內(nèi)容。但是一旦開始大規(guī)模爬取，對于大規(guī)模且頻繁的請求，網(wǎng)站可能會(huì)彈出驗(yàn)證碼，或者跳轉(zhuǎn)到登錄認(rèn)證頁面，更甚者可能會(huì)直接封禁客戶端的IP，導(dǎo)致一定時(shí)間段內(nèi)無法訪問。
那么，為了防止這種情況發(fā)生，我們需要設(shè)置代理來解決這個(gè)問題，這就需要用到proxies參數(shù)?？梢杂眠@樣的方式設(shè)置：
import requests
proxies = {
"http": "http://10.10.1.10:3128",
"https": "http://10.10.1.10:1080",
}
requests.get("https://www.taobao.com", proxies=proxies)當(dāng)然，直接運(yùn)行這個(gè)實(shí)例可能不行，因?yàn)檫@個(gè)代理可能是無效的，請換成自己的有效代理試驗(yàn)一下。
若代理需要使用HTTP Basic Auth，可以使用類似http://user:password@host:port這樣的語法來設(shè)置代理，示例如下：
import requests
proxies = {
"http": "http://user:password@10.10.1.10:3128/",
}
requests.get("https://www.taobao.com", proxies=proxies)除了基本的HTTP代理外，requests還支持SOCKS協(xié)議的代理。
首先，需要安裝socks這個(gè)庫：
pip3 install 'requests[socks]'
然后就可以使用SOCKS協(xié)議代理了，示例如下：
import requests
proxies = {
'http': 'socks5://user:password@host:port',
'https': 'socks5://user:password@host:port'
}
requests.get("https://www.taobao.com", proxies=proxies)6. 超時(shí)設(shè)置
在本機(jī)網(wǎng)絡(luò)狀況不好或者服務(wù)器網(wǎng)絡(luò)響應(yīng)太慢甚至無響應(yīng)時(shí)，我們可能會(huì)等待特別久的時(shí)間才可能收到響應(yīng)，甚至到最后收不到響應(yīng)而報(bào)錯(cuò)。為了防止服務(wù)器不能及時(shí)響應(yīng)，應(yīng)該設(shè)置一個(gè)超時(shí)時(shí)間，即超過了這個(gè)時(shí)間還沒有得到響應(yīng)，那就報(bào)錯(cuò)。這需要用到timeout參數(shù)。這個(gè)時(shí)間的計(jì)算是發(fā)出請求到服務(wù)器返回響應(yīng)的時(shí)間。示例如下：
import requests
r = requests.get("https://www.taobao.com", timeout = 1)
print(r.status_code)通過這樣的方式，我們可以將超時(shí)時(shí)間設(shè)置為1秒，如果1秒內(nèi)沒有響應(yīng)，那就拋出異常。
實(shí)際上，請求分為兩個(gè)階段，即連接（connect）和讀?。╮ead）。
上面設(shè)置的timeout將用作連接和讀取這二者的timeout總和。
如果要分別指定，就可以傳入一個(gè)元組：
r = requests.get('https://www.taobao.com', timeout=(5,11, 30))如果想永久等待，可以直接將timeout設(shè)置為None，或者不設(shè)置直接留空，因?yàn)槟J(rèn)是None。這樣的話，如果服務(wù)器還在運(yùn)行，但是響應(yīng)特別慢，那就慢慢等吧，它永遠(yuǎn)不會(huì)返回超時(shí)錯(cuò)誤的。其用法如下：
r = requests.get('https://www.taobao.com', timeout=None)或直接不加參數(shù)：
r = requests.get('https://www.taobao.com')7. 身份認(rèn)證
在訪問網(wǎng)站時(shí)，我們可能會(huì)遇到這樣的認(rèn)證頁面，如圖3-9所示。
圖3-9 認(rèn)證頁面
此時(shí)可以使用requests自帶的身份認(rèn)證功能，示例如下：
import requests
from requests.auth import HTTPBasicAuth
r = requests.get('http://localhost:5000', auth=HTTPBasicAuth('username', 'password'))
print(r.status_code)如果用戶名和密碼正確的話，請求時(shí)就會(huì)自動(dòng)認(rèn)證成功，會(huì)返回200狀態(tài)碼，如果認(rèn)證失敗，則返回401狀態(tài)碼。
當(dāng)然，如果參數(shù)都傳一個(gè)HTTPBasicAuth類，就顯得有點(diǎn)煩瑣了，所以requests提供了一個(gè)更簡單的寫法，可以直接傳一個(gè)元組，它會(huì)默認(rèn)使用HTTPBasicAuth這個(gè)類來認(rèn)證。
所以上面的代碼可以直接簡寫如下：
import requests
r = requests.get('http://localhost:5000', auth=('username', 'password'))
print(r.status_code)此外，requests還提供了其他認(rèn)證方式，如OAuth認(rèn)證，不過此時(shí)需要安裝oauth包，安裝命令如下：
pip3 install requests_oauthlib
使用OAuth2認(rèn)證的方法如下：
import requests
from requests_oauthlib import OAuth2
url = 'https://api.twitter.com/1.1/account/verify_credentials.json'
auth = OAuth2('YOUR_APP_KEY', 'YOUR_APP_SECRET',
'USER_OAUTH_TOKEN', 'USER_OAUTH_TOKEN_SECRET')
requests.get(url, auth=auth)更多詳細(xì)的功能可以參考requests_oauthlib的官方文檔https://requests-oauthlib.readthedocs.org/，在此不再贅述了。
8. Prepared Request
前面介紹urllib時(shí)，我們可以將請求表示為數(shù)據(jù)結(jié)構(gòu)，其中各個(gè)參數(shù)都可以通過一個(gè)Request對象來表示。這在requests里同樣可以做到，這個(gè)數(shù)據(jù)結(jié)構(gòu)就叫Prepared Request。我們用實(shí)例看一下：
from requests import Request, Session
url = 'http://httpbin.org/post'
data = {
'name': 'germey'
}
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/53.0.2785.116 Safari/537.36'
}
s = Session()
req = Request('POST', url, data=data, headers=headers)
prepped = s.prepare_request(req)
r = s.send(prepped)
print(r.text)這里我們引入了Request，然后用url、data和headers參數(shù)構(gòu)造了一個(gè)Request對象，這時(shí)需要再調(diào)用Session的prepare_request()方法將其轉(zhuǎn)換為一個(gè)Prepared Request對象，然后調(diào)用send()方法發(fā)送即可，運(yùn)行結(jié)果如下：
{
"args": {},
"data": "",
"files": {},
"form": {
"name": "germey"
},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "close",
"Content-Length": "11",
"Content-Type": "application/x-www-form-urlencoded",
"Host": "httpbin.org",
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/53.0.2785.116 Safari/537.36"
},
"json": null,
"origin": "182.32.203.166",
"url": "http://httpbin.org/post"
}可以看到，我們達(dá)到了同樣的POST請求效果。
有了Request這個(gè)對象，就可以將請求當(dāng)作獨(dú)立的對象來看待，這樣在進(jìn)行隊(duì)列調(diào)度時(shí)會(huì)非常方便。后面我們會(huì)用它來構(gòu)造一個(gè)Request隊(duì)列。
感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享Python3爬蟲中文件上傳的基本操作內(nèi)容對大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，遇到問題就找創(chuàng)新互聯(lián)，詳細(xì)的解決方法等著你來學(xué)習(xí)!
文章標(biāo)題：Python3爬蟲中文件上傳的基本操作
當(dāng)前URL：
http://weahome.cn/article/gjipjs.html
重慶分公司
重慶分公司
