小編給大家分享一下10個(gè)python爬蟲(chóng)的實(shí)例，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

我們提供的服務(wù)有：成都網(wǎng)站制作、做網(wǎng)站、微信公眾號(hào)開(kāi)發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、巫山ssl等。為近1000家企事業(yè)單位解決了網(wǎng)站和推廣的問(wèn)題。提供周到的售前咨詢(xún)和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的巫山網(wǎng)站制作公司

涉及主要知識(shí)點(diǎn):

web是如何交互的
requests庫(kù)的get、post函數(shù)的應(yīng)用
response對(duì)象的相關(guān)函數(shù)，屬性
python文件的打開(kāi)，保存

小貼士：開(kāi)始實(shí)例之前，請(qǐng)安裝好python環(huán)境哦~

實(shí)例1、爬取強(qiáng)大的BD頁(yè)面，打印頁(yè)面信息

# 第一個(gè)爬蟲(chóng)示例,爬取百度頁(yè)面
import requests #導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)
response = requests.get("http://www.baidu.com")  #生成一個(gè)response對(duì)象
response.encoding = response.apparent_encoding #設(shè)置編碼格式
print("狀態(tài)碼:"+ str( response.status_code ) ) #打印狀態(tài)碼
print(response.text)#輸出爬取的信息

實(shí)例2、常用方法之get方法實(shí)例，下面還有傳參實(shí)例

# 第二個(gè)get方法實(shí)例
import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)
response = requests.get("http://httpbin.org/get")  #get方法
print( response.status_code ) #狀態(tài)碼
print( response.text )

實(shí)例3、常用方法之post方法實(shí)例，下面還有傳參實(shí)例

# 第三個(gè) post方法實(shí)例
import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)
response = requests.post("http://httpbin.org/post")  #post方法訪問(wèn)
print( response.status_code ) #狀態(tài)碼
print( response.text )

實(shí)例4、put方法實(shí)例

# 第四個(gè) put方法實(shí)例
import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)
response = requests.put("http://httpbin.org/put")  # put方法訪問(wèn)
print( response.status_code ) #狀態(tài)碼
print( response.text )

實(shí)例5、常用方法之get方法傳參(1)

如果需要傳多個(gè)參數(shù)只需要用&符號(hào)連接即可如下：

# 第五個(gè) get傳參方法實(shí)例
import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)
response = requests.get("http://httpbin.org/get?name=hezhi&age=20")  # get傳參
print( response.status_code ) #狀態(tài)碼
print( response.text )

實(shí)例6、 常用方法之get方法傳參(2)

params用字典可以傳多個(gè)

# 第六個(gè) get傳參方法實(shí)例
import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)
data = {  "name":"hezhi",  "age":20}response = requests.get( "http://httpbin.org/get" , params=data )  # get傳參
print( response.status_code ) #狀態(tài)碼
print( response.text )

實(shí)例7、常用方法之post方法傳參(3)

# 第七個(gè) post傳參方法實(shí)例
import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)
data = {  "name":"hezhi",  "age":20}response = requests.post( "http://httpbin.org/post" , params=data )  # post傳參
print( response.status_code ) #狀態(tài)碼
print( response.text )

實(shí)例8、關(guān)于繞過(guò)反爬機(jī)制，以zh爸爸為例

# 第好幾個(gè)方法實(shí)例
import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)
response = requests.get( "http://www.zhihu.com")  #第一次訪問(wèn)知乎，不設(shè)置頭部信息
print( "第一次,不設(shè)頭部信息,狀態(tài)碼:"+response.status_code )# 沒(méi)寫(xiě)headers，不能正常爬取，狀態(tài)碼不是 200
#下面是可以正常爬取的區(qū)別，更改了User-Agent字段
headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
}#設(shè)置頭部信息,偽裝瀏覽器
response = requests.get( "http://www.zhihu.com" , headers=headers )  #get方法訪問(wèn),傳入headers參數(shù)，
print( response.status_code ) # 200！訪問(wèn)成功的狀態(tài)碼
print( response.text )

實(shí)例9、爬取信息并保存到本地，因?yàn)槟夸涥P(guān)系，在D盤(pán)建立了一個(gè)叫做爬蟲(chóng)的文件夾，然后保存信息，注意文件保存時(shí)的encoding設(shè)置。

# 爬取一個(gè)html并保存
import requests
url = "http://www.baidu.com"
response = requests.get( url )
response.encoding = "utf-8" #設(shè)置接收編碼格式
print("\nr的類(lèi)型" + str( type(response) ) )
print("\n狀態(tài)碼是:" + str( response.status_code ) )
print("\n頭部信息:" + str( response.headers ) )
print( "\n響應(yīng)內(nèi)容:" )
print( response.text )
#保存文件file = open("D:\\爬蟲(chóng)\\baidu.html","w",encoding="utf")  #打開(kāi)一個(gè)文件，w是文件不存在則新建一個(gè)文件，這里不用wb是因?yàn)椴挥帽４娉啥M(jìn)制
file.write( response.text )
file.close()

實(shí)例10：爬取圖片，保存到本地

#保存百度圖片到本地
import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)
response = requests.get("/upload/otherpic54/863.gif")  #get方法的到圖片響應(yīng)
file = open("D:\\爬蟲(chóng)\\baidu_logo.gif","wb") #打開(kāi)一個(gè)文件,wb表示以二進(jìn)制格式打開(kāi)一個(gè)文件只用于寫(xiě)入
file.write(response.content) #寫(xiě)入文件
file.close()#關(guān)閉操作，運(yùn)行完畢后去你的目錄看一眼有沒(méi)有保存成功

以上是10個(gè)python爬蟲(chóng)的實(shí)例的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！