創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務器提供商,新人活動買多久送多久,劃算不套路!
創(chuàng)新互聯(lián)堅持“要么做到,要么別承諾”的工作理念,服務領域包括:成都網(wǎng)站制作、成都網(wǎng)站建設、外貿營銷網(wǎng)站建設、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務,滿足客戶于互聯(lián)網(wǎng)時代的承留網(wǎng)站設計、移動媒體設計的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡建設合作伙伴!Python3爬蟲利器Scrapyd API如何安裝?這個問題可能是我們日常學習或工作經(jīng)常見到的。希望通過這個問題能讓你收獲頗深。下面是小編給大家?guī)淼膮⒖純热?,讓我們一起來看看吧?/p>
安裝好了Scrapyd之后,我們可以直接請求它提供的API來獲取當前主機的Scrapy任務運行狀況。比如,某臺主機的IP為192.168.1.1,則可以直接運行如下命令獲取當前主機的所有Scrapy項目:
curl http://localhost:6800/listprojects.json
運行結果如下:
{"status": "ok", "projects": ["myproject", "otherproject"]}
返回結果是JSON字符串,通過解析這個字符串,便可以得到當前主機的所有項目。
但是用這種方式來獲取任務狀態(tài)還是有點煩瑣,所以Scrapyd API就為它做了一層封裝,下面我們來看下它的安裝方式。
1. 相關鏈接
GitHub:https://pypi.python.org/pypi/python-scrapyd-api/
PyPI:https://pypi.python.org/pypi/python-scrapyd-api
官方文檔:http://python-scrapyd-api.readthedocs.io/en/latest/usage.html
2. pip安裝
這里推薦使用pip安裝,命令如下:
pip install python-scrapyd-api
3. 驗證安裝
安裝完成之后,便可以使用Python來獲取主機狀態(tài)了,所以上面的操作便可以用Python代碼實現(xiàn):
from scrapyd_api import ScrapydAPI scrapyd = ScrapydAPI('http://localhost:6800') print(scrapyd.list_projects())
運行結果如下:
["myproject", "otherproject"]
這樣我們便可以用Python直接來獲取各個主機上Scrapy任務的運行狀態(tài)了。
感謝各位的閱讀!看完上述內容,你們對Python3爬蟲利器Scrapyd API如何安裝大概了解了嗎?希望文章內容對大家有所幫助。如果想了解更多相關文章內容,歡迎關注創(chuàng)新互聯(lián)-成都網(wǎng)站建設公司行業(yè)資訊頻道。