真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

Python3爬蟲利器ScrapydAPI如何安裝-創(chuàng)新互聯(lián)

創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務器提供商,新人活動買多久送多久,劃算不套路!

創(chuàng)新互聯(lián)堅持“要么做到,要么別承諾”的工作理念,服務領域包括:成都網(wǎng)站制作、成都網(wǎng)站建設、外貿營銷網(wǎng)站建設、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務,滿足客戶于互聯(lián)網(wǎng)時代的承留網(wǎng)站設計、移動媒體設計的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡建設合作伙伴!

Python3爬蟲利器Scrapyd API如何安裝?這個問題可能是我們日常學習或工作經(jīng)常見到的。希望通過這個問題能讓你收獲頗深。下面是小編給大家?guī)淼膮⒖純热?,讓我們一起來看看吧?/p>

安裝好了Scrapyd之后,我們可以直接請求它提供的API來獲取當前主機的Scrapy任務運行狀況。比如,某臺主機的IP為192.168.1.1,則可以直接運行如下命令獲取當前主機的所有Scrapy項目:

curl http://localhost:6800/listprojects.json

運行結果如下:

{"status": "ok", "projects": ["myproject", "otherproject"]}

返回結果是JSON字符串,通過解析這個字符串,便可以得到當前主機的所有項目。

但是用這種方式來獲取任務狀態(tài)還是有點煩瑣,所以Scrapyd API就為它做了一層封裝,下面我們來看下它的安裝方式。

1. 相關鏈接

GitHub:https://pypi.python.org/pypi/python-scrapyd-api/

PyPI:https://pypi.python.org/pypi/python-scrapyd-api

官方文檔:http://python-scrapyd-api.readthedocs.io/en/latest/usage.html

2. pip安裝

這里推薦使用pip安裝,命令如下:

pip install python-scrapyd-api

3. 驗證安裝

安裝完成之后,便可以使用Python來獲取主機狀態(tài)了,所以上面的操作便可以用Python代碼實現(xiàn):

from scrapyd_api import ScrapydAPI
scrapyd = ScrapydAPI('http://localhost:6800')
print(scrapyd.list_projects())

運行結果如下:

["myproject", "otherproject"]

這樣我們便可以用Python直接來獲取各個主機上Scrapy任務的運行狀態(tài)了。

感謝各位的閱讀!看完上述內容,你們對Python3爬蟲利器Scrapyd API如何安裝大概了解了嗎?希望文章內容對大家有所幫助。如果想了解更多相關文章內容,歡迎關注創(chuàng)新互聯(lián)-成都網(wǎng)站建設公司行業(yè)資訊頻道。


網(wǎng)站標題:Python3爬蟲利器ScrapydAPI如何安裝-創(chuàng)新互聯(lián)
網(wǎng)頁URL:http://weahome.cn/article/csjhgi.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部