在看這篇文章之前，需要大家掌握的知識(shí)技能：
10年積累的成都網(wǎng)站制作、網(wǎng)站設(shè)計(jì)經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問(wèn)題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先做網(wǎng)站設(shè)計(jì)后付款的網(wǎng)站建設(shè)流程，更有牧野免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。
python基礎(chǔ)
html基礎(chǔ)
http狀態(tài)碼
讓我們看看這篇文章中有哪些知識(shí)點(diǎn)：
get方法
post方法
header參數(shù)，模擬用戶
data參數(shù)，提交數(shù)據(jù)
proxies參數(shù)，使用代理
進(jìn)階學(xué)習(xí)
安裝上requests庫(kù)
pip install requests
先來(lái)看下幫助文檔，看看requests的介紹，用python自帶的help命令
import requests
help(requests)
output：
Help on package requests:
NAME
requests
DESCRIPTION
Requests HTTP Library
~~~~~~~~~~~~~~~~~~~~~
Requests is an HTTP library, written in Python, for human beings. Basic GET
usage:
>>> import requests
>>> r = requests.get('https://www.python.org')
>>> r.status_code
200
>>> 'Python is a programming language' in r.content
True
... or POST:
>>> payload = dict(key1='value1', key2='value2')
>>> r = requests.post('https://httpbin.org/post', data=payload)
>>> print(r.text)
{
...
"form": {
"key2": "value2",
"key1": "value1"
},
...
}
The other HTTP methods are supported - see `requests.api`. Full documentation
is at .
:copyright: (c) 2017 by Kenneth Reitz.
:license: Apache 2.0, see LICENSE for more details.
這里解釋下，requests庫(kù)是由python編寫的對(duì)人類友好的http庫(kù)，并且舉例了GET與POST的方法。
GET方法
好的，那我們自己來(lái)測(cè)試下，就以請(qǐng)求百度為例吧，，，(誰(shuí)讓百度這么耐抗的)
import requests
r = requests.get('https://www.baidu.com')
print(r.status_code) #打印返回的http code
print(r.text) #打印返回結(jié)果的text
方便點(diǎn)，截了個(gè)圖給大家看，返回的code是200，說(shuō)明請(qǐng)求正常拉回網(wǎng)頁(yè)了。
看下返回的text，有點(diǎn)不對(duì)頭，少了一些html標(biāo)簽，最起碼百度兩個(gè)字得有吧。嗯，這是什么原因，，，
相信有些同學(xué)已經(jīng)想到了，是沒(méi)有真實(shí)模擬用戶的請(qǐng)求，你去爬數(shù)據(jù)，還不模擬用戶請(qǐng)求，那肯定限制你啊。這個(gè)時(shí)候需要加一個(gè)header參數(shù)來(lái)搞定，至少要加一個(gè)user-agent吧。好，那咋們?nèi)フ乙粋€(gè)ua吧。別百度了，自己動(dòng)手，豐衣足食。教大家一個(gè)辦法，用火狐的開發(fā)者工具。
火狐瀏覽器的開發(fā)者工具
打開新標(biāo)簽 —— 按F12——訪問(wèn)下百度——找到NetWork——隨便點(diǎn)開一個(gè)——往下翻——看到ua了吧，復(fù)制上。
import requests鄭州人流手術(shù)費(fèi)用 http://mobile.120csjlyy.com/
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'}
r = requests.get('https://www.baidu.com', headers=headers)
print(r.status_code)
print(r.text)
嗯~~~數(shù)據(jù)有點(diǎn)多，往下翻翻，這下就正常了嘛，數(shù)據(jù)都有了。。。PS：不信?可以自己輸出一個(gè)html文件，瀏覽器打開看看唄
POST方法
只需要把get改成post就好了
import requests
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'}
r = requests.post('https://www.baidu.com', headers=headers)
print(r.status_code)
print(r.text)
運(yùn)行下試試看。一般post都是用來(lái)提交表單信息的，嗯，這里找一個(gè)能提交數(shù)據(jù)的url，去post下。
用我自己寫的接口(PS：django寫的，挺方便)，大家復(fù)制過(guò)去就好了。注意看代碼，data是要post的數(shù)據(jù)，post方法里加了一個(gè)data參數(shù)。
import requests
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'}
# post的數(shù)據(jù)
data = {"info": "biu~~~ send post request"}
r = requests.post('http://dev.kdlapi.com/testproxy', headers=headers, data=data) #加一個(gè)data參數(shù)
print(r.status_code)
print(r.text)
截個(gè)圖給大家看下，http code 200，body信息說(shuō)的post成功，并且返回的了我自己的IP信息以及post的數(shù)據(jù)
使用代理
為什么用代理?一般網(wǎng)站都有屏蔽的限制策略，用自己的IP去爬，被封了那該網(wǎng)站就訪問(wèn)不了，這時(shí)候就得用代理IP來(lái)解決問(wèn)題了。封吧，反正封的不是本機(jī)IP，封的代理IP。
既然使用代理，得先找一個(gè)代理IP。PS：自己寫個(gè)代理服務(wù)器太麻煩了，關(guān)鍵是我也不會(huì)寫啊，，，哈哈哈
import requests
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'}
# post的數(shù)據(jù)
data = {"info": "biu~~~ send post request"}
# 代理信息,由快代理贊助
proxy = '115.203.28.25:16584'
proxies = {
"http": "http://%(proxy)s/" % {'proxy': proxy},
"https": "http://%(proxy)s/" % {'proxy': proxy}
}
r = requests.post('http://dev.kdlapi.com/testproxy', headers=headers, data=data, proxies=proxies) #加一個(gè)proxies參數(shù)
print(r.status_code)
print(r.text)
主要方法里加個(gè)proxies參數(shù)，這就用上代理IP了。
重慶分公司
重慶分公司
