Scrapyrt的安裝

Scrapyrt 為 Scrapy 提供了一個(gè)調(diào)度的 HTTP 接口，有了它我們不需要再執(zhí)行 Scrapy 命令而是通過請求一個(gè) HTTP 接口即可調(diào)度 Scrapy 任務(wù)，Scrapyrt 比 Scrapyd 輕量級，如果不需要分布式多任務(wù)的話可以簡單使用 Scrapyrt 實(shí)現(xiàn)遠(yuǎn)程 Scrapy 任務(wù)的調(diào)度。

成都做網(wǎng)站、成都網(wǎng)站制作的開發(fā)，更需要了解用戶，從用戶角度來建設(shè)網(wǎng)站，獲得較好的用戶體驗(yàn)。成都創(chuàng)新互聯(lián)多年互聯(lián)網(wǎng)經(jīng)驗(yàn)，見的多，溝通容易、能幫助客戶提出的運(yùn)營建議。作為成都一家網(wǎng)絡(luò)公司，打造的就是網(wǎng)站建設(shè)產(chǎn)品直銷的概念。選擇成都創(chuàng)新互聯(lián)，不只是建站，我們把建站作為產(chǎn)品，不斷的更新、完善，讓每位來訪用戶感受到浩方產(chǎn)品的價(jià)值服務(wù)。

1. 相關(guān)鏈接

• GitHub：https://github.com/scrapinghu...
• 官方文檔：http://scrapyrt.readthedocs.io

2. Pip安裝

推薦使用 Pip 安裝，命令如下：

pip3 install scrapyrt

命令執(zhí)行完畢之后即可完成安裝。

接下來在任意一個(gè) Scrapy 項(xiàng)目中運(yùn)行如下命令即可啟動(dòng) HTTP 服務(wù)：

scrapyrt
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學(xué)習(xí)視頻，這里是Python學(xué)習(xí)者的聚集地，零基礎(chǔ)，進(jìn)階，都?xì)g迎

運(yùn)行之后會(huì)默認(rèn)在 9080 端口上啟動(dòng)服務(wù)，類似的輸出結(jié)果如下：

scrapyrt
2017-07-12 22:31:03+0800 [-] Log opened.
2017-07-12 22:31:03+0800 [-] Site starting on 9080
2017-07-12 22:31:03+0800 [-] Starting factory 

如果想更換運(yùn)行端口可以使用 -p 參數(shù)，如：

scrapyrt -p 9081

這樣就會(huì)在 9081 端口上運(yùn)行了。

3. Docker安裝

另外 Scrapyrt 也支持 Docker，如想要在 9080 端口上運(yùn)行，且本地 Scrapy 項(xiàng)目的路徑為 /home/quotesbot，可以使用如下命令運(yùn)行：

docker run -p 9080:9080 -tid -v /home/user/quotesbot:/scrapyrt/project scrapinghub/scrapyrt

這樣同樣可以在 9080 端口上監(jiān)聽指定的 Scrapy 項(xiàng)目。

Gerapy的安裝

Gerapy 是一個(gè) Scrapy 分布式管理模塊，本節(jié)來介紹一下 Gerapy 的安裝方式。

1. 相關(guān)鏈接

GitHub：https://github.com/Gerapy

2. Pip安裝

推薦使用 Pip 安裝，命令如下：

pip3 install gerapy

3. 測試安裝

安裝完成之后，可以在 Python 命令行下測試。

$ python3
>>> import gerapy
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學(xué)習(xí)視頻，這里是Python學(xué)習(xí)者的聚集地，零基礎(chǔ)，進(jìn)階，都?xì)g迎

如果沒有錯(cuò)誤報(bào)出，則證明庫已經(jīng)安裝好了。

網(wǎng)頁標(biāo)題：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)-14、部署相關(guān)庫的安裝：Scrapyrt、Gerapy
當(dāng)前網(wǎng)址：http://weahome.cn/article/jpdggs.html