這篇文章主要為大家展示了如何使用Python爬蟲工具requests-html,內(nèi)容簡而易懂,希望大家可以學習一下,學習完之后肯定會有收獲的,下面讓小編帶大家一起來看看吧。
成都創(chuàng)新互聯(lián)是一家企業(yè)級云計算解決方案提供商,超15年IDC數(shù)據(jù)中心運營經(jīng)驗。主營GPU顯卡服務(wù)器,站群服務(wù)器,IDC機房托管,海外高防服務(wù)器,成都機柜租用,動態(tài)撥號VPS,海外云手機,海外云服務(wù)器,海外服務(wù)器租用托管等。使用Python開發(fā)的同學一定聽說過Requsts庫,它是一個用于發(fā)送HTTP請求的測試。如比我們用Python做基于HTTP協(xié)議的接口測試,那么一定會選Requsts,因為它即簡單又強大?,F(xiàn)在作者Kenneth Reitz 又開發(fā)了requests-html 用于做爬蟲。
該項目從3月上線到現(xiàn)在已經(jīng)7K+的star了!
requests-html 是基于現(xiàn)有的框架 PyQuery、Requests、lxml、beautifulsoup4等庫進行了二次封裝,作者將Requests設(shè)計的簡單強大的優(yōu)點帶到了該項目中。
安裝:
pip install requests-html
教程與使用:
使用GET請求 https://python.org 網(wǎng)站。
先來看看requests的基本使用。
from requests_html import HTMLSession session = HTMLSession() r = session.get('https://python.org/') # 獲取頁面上的所有鏈接。 all_links = r.html.links print(all_links) # 獲取頁面上的所有鏈接,以絕對路徑的方式。 all_absolute_links = r.html.absolute_links print(all_absolute_links)
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。