這篇文章給大家分享的是有關(guān)如何用python中爬蟲(chóng)框架scrapy的命令行的內(nèi)容。小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧。

讓客戶(hù)滿(mǎn)意是我們工作的目標(biāo)，不斷超越客戶(hù)的期望值來(lái)自于我們對(duì)這個(gè)行業(yè)的熱愛(ài)。我們立志把好的技術(shù)通過(guò)有效、簡(jiǎn)單的方式提供給客戶(hù)，將通過(guò)不懈努力成為客戶(hù)在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴，公司提供的服務(wù)項(xiàng)目有：域名注冊(cè)、虛擬主機(jī)、營(yíng)銷(xiāo)軟件、網(wǎng)站建設(shè)、寶清網(wǎng)站維護(hù)、網(wǎng)站推廣。

關(guān)于命令詳細(xì)使用

命令的使用范圍

這里的命令分為全局的命令和項(xiàng)目的命令，全局的命令表示可以在任何地方使用，而項(xiàng)目的命令只能在項(xiàng)目目錄下使用

全局的命令有：

startproject
genspider
settings
runspider
shell
fetch
view
version

項(xiàng)目命令有：

crawl
check
list
edit
parse
Bench

startproject

這個(gè)命令沒(méi)什么過(guò)多的用法，就是在創(chuàng)建爬蟲(chóng)項(xiàng)目的時(shí)候用

genspider

用于生成爬蟲(chóng)，這里scrapy提供給我們不同的幾種模板生成spider,默認(rèn)用的是basic,我們可以通過(guò)命令查看所有的模板

crawl

這個(gè)是用去啟動(dòng)spider爬蟲(chóng)格式為：scrapy crawl 爬蟲(chóng)名字

這里需要注意這里的爬蟲(chóng)名字和通過(guò)scrapy genspider 生成爬蟲(chóng)的名字是一致的

fetch

scrapy fetch url地址

該命令會(huì)通過(guò)scrapy downloader 講網(wǎng)頁(yè)的源代碼下載下來(lái)并顯示出來(lái)

這里有一些參數(shù)：

--nolog 不打印日志

--headers 打印響應(yīng)頭信息

--no-redirect 不做跳轉(zhuǎn)

感謝各位的閱讀！關(guān)于如何用python中爬蟲(chóng)框架scrapy的命令行就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！

網(wǎng)頁(yè)名稱(chēng)：如何用python中爬蟲(chóng)框架scrapy的命令行-創(chuàng)新互聯(lián)
鏈接分享：http://weahome.cn/article/csigij.html