創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務(wù)器提供商,新人活動買多久送多久,劃算不套路!
公司主營業(yè)務(wù):成都網(wǎng)站建設(shè)、成都網(wǎng)站制作、移動網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳,提高企業(yè)的競爭能力。成都創(chuàng)新互聯(lián)公司是一支青春激揚、勤奮敬業(yè)、活力青春激揚、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化,感謝他們對我們的高要求,感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn),讓我們激情的團(tuán)隊有機(jī)會用頭腦與智慧不斷的給客戶帶來驚喜。成都創(chuàng)新互聯(lián)公司推出溆浦免費做網(wǎng)站回饋大家。如何安裝Python3爬蟲利器aiohttp庫?這個問題可能是我們?nèi)粘W(xué)習(xí)或工作經(jīng)常見到的。希望通過這個問題能讓你收獲頗深。下面是小編給大家?guī)淼膮⒖純?nèi)容,讓我們一起來看看吧!
之前介紹的Requests庫是一個阻塞式HTTP請求庫,當(dāng)我們發(fā)出一個請求后,程序會一直等待服務(wù)器響應(yīng),直到得到響應(yīng)后,程序才會進(jìn)行下一步處理。其實,這個過程比較耗費資源。如果程序可以在這個等待過程中做一些其他的事情,如進(jìn)行請求的調(diào)度、響應(yīng)的處理等,那么爬取效率一定會大大提高。
aiohttp就是這樣一個提供異步Web服務(wù)的庫,從Python 3.5版本開始,Python中加入了async/await關(guān)鍵字,使得回調(diào)的寫法更加直觀和人性化。aiohttp的異步操作借助于async/await關(guān)鍵字的寫法變得更加簡潔,架構(gòu)更加清晰。使用異步請求庫進(jìn)行數(shù)據(jù)抓取時,會大大提高效率,下面我們來看一下這個庫的安裝方法。
1. 相關(guān)鏈接
官方文檔:http://aiohttp.readthedocs.io/en/stable
GitHub:https://github.com/aio-libs/aiohttp
PyPI:https://pypi.python.org/pypi/aiohttp
2. pip安裝
這里推薦使用pip安裝,命令如下:
pip3 install aiohttp
另外,官方還推薦安裝如下兩個庫:一個是字符編碼檢測庫cchardet,另一個是加速DNS的解析庫aiodns。安裝命令如下:
pip3 install cchardet aiodns
3. 測試安裝
安裝完成之后,可以在Python命令行下測試:
$ python3 >>> import aiohttp
如果沒有錯誤報出,則證明庫已經(jīng)安裝好了。
我們會在后面的實例中用到這個庫,比如維護(hù)一個代理池時,利用異步方式檢測大量代理的運行狀況,會極大地提升效率。
感謝各位的閱讀!看完上述內(nèi)容,你們對如何安裝Python3爬蟲利器aiohttp庫大概了解了嗎?希望文章內(nèi)容對大家有所幫助。如果想了解更多相關(guān)文章內(nèi)容,歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。