這篇文章將為大家詳細(xì)講解有關(guān)Docker如何部署Scrapy,小編覺(jué)得挺實(shí)用的,因此分享給大家做個(gè)參考,希望大家閱讀完這篇文章后可以有所收獲。
在偏關(guān)等地區(qū),都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局,加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力,以專注、極致的服務(wù)理念,為客戶提供成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì) 網(wǎng)站設(shè)計(jì)制作按需求定制開(kāi)發(fā),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),高端網(wǎng)站設(shè)計(jì),營(yíng)銷型網(wǎng)站建設(shè),成都外貿(mào)網(wǎng)站建設(shè),偏關(guān)網(wǎng)站建設(shè)費(fèi)用合理。
假設(shè)我們要在10臺(tái)Ubuntu 部署爬蟲(chóng)如何搞之?用傳統(tǒng)的方法會(huì)吐血的,除非你記錄下來(lái)每個(gè)步驟,然后步驟之間的次序還完全一樣,這樣才行。但是這樣還是累啊,個(gè)別軟件下載又需要時(shí)間。所以Docker出現(xiàn)了。Docker把系統(tǒng),各種需要的應(yīng)用,還有設(shè)置編譯成一個(gè)image,然后 run一下就可以了。跟虛擬機(jī)的區(qū)別是不需要而外的物理支持,共用的。
1. 部署步驟
1.1 上傳本地scrapy爬蟲(chóng)代碼除了settings外到git 服務(wù)器
1.2 編寫Dockerfile文件,把settings和requirements.txt 也拷貝到image里,一起打包成一個(gè)image
Dockerfile內(nèi)容:
1.6 命令進(jìn)去后,git clone 1.1中的爬蟲(chóng),然后復(fù)制images里的settings到爬蟲(chóng)目錄,然后執(zhí)行scrapy crawl xxx即可
關(guān)于“Docker如何部署Scrapy”這篇文章就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,使各位可以學(xué)到更多知識(shí),如果覺(jué)得文章不錯(cuò),請(qǐng)把它分享出去讓更多的人看到。
原文鏈接:http://www.waitingfy.com/archives/3249