這篇文章給大家分享的是有關(guān)requests模塊怎么用的內(nèi)容。小編覺得挺實(shí)用的,因此分享給大家做個(gè)參考。一起跟隨小編過來看看吧。
創(chuàng)新互聯(lián)主營(yíng)豐滿網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,app開發(fā)定制,豐滿h5小程序開發(fā)搭建,豐滿網(wǎng)站營(yíng)銷推廣歡迎豐滿等地區(qū)企業(yè)咨詢一、安裝
第一步:pip安裝
/tupian/20230522/>python setup.py install
D:\envi\python2.7\Scripts添加到環(huán)境變量新打開一個(gè)命令行窗口,執(zhí)行
pip list
第二步:requests安裝命令
pip install requests
二、使用:爬取百度網(wǎng)站內(nèi)容
導(dǎo)入模塊
#導(dǎo)入requests模塊 import requests
指定url
#1:指定url url='https://www.baidu.com/'
發(fā)起請(qǐng)求
#2:發(fā)起請(qǐng)求(get方法會(huì)返回一個(gè)響應(yīng)對(duì)象) response = requests.get(url=url)
獲取響應(yīng)數(shù)據(jù)
#3:獲取響應(yīng)數(shù)據(jù) page_text = response.text
持久化存儲(chǔ)
#4:持久化存儲(chǔ) with open('./baidu.html','w',encoding='utf-8') as fp: fp.write(page_text) print('爬完了')
三:requests異常處理
異常:比如網(wǎng)絡(luò)連接錯(cuò)誤、http錯(cuò)誤異常、重定向異常、請(qǐng)求url超時(shí)異常等等。
處理:可以利用 response.raise_for_status()
語句去捕捉異常,該語句在方法內(nèi)部判斷r.status_code是否等于200,如果不等于,則拋出異常。
爬取網(wǎng)頁的通用代碼框架:
try: response=requests.get(url) response.raise_for_status() #如果狀態(tài)不是200,則引發(fā)異常 except: print("產(chǎn)生異常")
requests 會(huì)自動(dòng)實(shí)現(xiàn)持久連接keep-alive,requests 支持 HTTP 連接保持和連接池,支持使用 cookie 保持會(huì)話,支持文件上傳,支持自動(dòng)確定響應(yīng)內(nèi)容的編碼,支持國(guó)際化的 URL 和 POST 數(shù)據(jù)自動(dòng)編碼,現(xiàn)代、國(guó)際化、人性化。
感謝各位的閱讀!關(guān)于requests模塊怎么用就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,讓大家可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò),可以把它分享出去讓更多的人看到吧!