掃除運(yùn)行Scrapy爬蟲程序的bug之后，現(xiàn)在便可以開始進(jìn)行編寫爬蟲邏輯了。在正式開始爬蟲編寫之前，在這里介紹四種小技巧，可以方便我們操縱和調(diào)試爬蟲。

公司主營業(yè)務(wù)：網(wǎng)站設(shè)計(jì)、做網(wǎng)站、移動網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)推出東海免費(fèi)做網(wǎng)站回饋大家。

一、建立main.py文件，直接在Pycharm下進(jìn)行調(diào)試

????很多時(shí)候我們在使用Scrapy爬蟲框架的時(shí)候，如果想運(yùn)行Scrapy爬蟲項(xiàng)目的話，一般都會想著去命令行中直接執(zhí)行命令“scrapy crawl crawler_name”，其中crawler_name指的是爬蟲的名字，在一開始創(chuàng)建Scrapy爬蟲模板的時(shí)候就指定了的，而且在該爬蟲項(xiàng)目中具有唯一性。但是每次跑到命令行下去執(zhí)行，看交互的結(jié)果，有時(shí)候并不是很清晰，所以這里介紹一種方法，可以幫助大家提高開發(fā)效率，尤其是調(diào)試的時(shí)候更是顯得方便。

????在與爬蟲項(xiàng)目的scrapy.cfg文件同級目錄下建立一個(gè)main.py文件，用于控制整個(gè)爬蟲項(xiàng)目的執(zhí)行。

? ? 在該文件夾中寫入的代碼見下圖。其中execute函數(shù)是內(nèi)嵌在scrapy中的，調(diào)用這個(gè)函數(shù)可以直接調(diào)用該Scrapy工程項(xiàng)目的爬蟲腳本，這個(gè)函數(shù)的執(zhí)行需要在爬蟲項(xiàng)目的父目錄下進(jìn)行。而第7行代碼的意思就是獲取當(dāng)前py文件的父目錄，省去我們直接復(fù)制路徑的精力和時(shí)間，同時(shí)也方便我們將該項(xiàng)目放到其他的平臺上去運(yùn)行，不會報(bào)路徑的錯誤。execute函數(shù)里邊的參數(shù)其實(shí)就是將Scrapy爬蟲執(zhí)行命令拆分，然后分別以一個(gè)字符的方式放到了一個(gè)數(shù)組中。

之后我們直接運(yùn)行這個(gè)main.py文件便可以調(diào)用Scrapy爬蟲程序了。

二、多用Debug進(jìn)行調(diào)試，提高開發(fā)速度

????相信用過Pycharm的小伙伴都看到過Debug這個(gè)東東，它的英文意思就是“小蟲子”，在Pycharm中的logo也是個(gè)小蟲子，像是×××瓢蟲一樣，不過很多小伙伴可能還沒有怎么用過，這里簡單的介紹給大家，希望大家日后可以多多用到，對于項(xiàng)目的調(diào)試十分有幫助。

????在進(jìn)行Debug調(diào)試之前，我們需要在我們想要調(diào)試的代碼左側(cè)進(jìn)行打斷點(diǎn)，斷點(diǎn)一般是紅色的，打斷點(diǎn)的方式很簡單，只需要在代碼的左側(cè)點(diǎn)擊一下左鍵即可，如下圖所示。

? ? 斷點(diǎn)設(shè)置完成之后，便可以去main.py文件進(jìn)行調(diào)試了。在main.py文件點(diǎn)擊右鍵，然后選擇“Debug ‘main’”，如下圖所示。

????之后爬蟲程序便開始進(jìn)行調(diào)試，并且會返回一系列結(jié)果，如下圖所示，可以方便的進(jìn)行拖拽查看。同時(shí)也會在爬蟲文件中以綠色的字體進(jìn)行顯示爬蟲的結(jié)果，很漂亮。

????如果想退出或者停止該調(diào)試，則點(diǎn)擊Pycharm上方選項(xiàng)卡的Run，然后點(diǎn)擊“Stop ‘main’”即可，如下圖所示。

之后該爬蟲程序就會退出調(diào)試，恢復(fù)正常的Pycharm界面，如下圖所示。

????關(guān)于Scrapy爬蟲項(xiàng)目運(yùn)行和調(diào)試兩個(gè)小技巧先分享到這里，下次將分享Scrapy爬蟲項(xiàng)目中更為實(shí)用的兩種調(diào)試方法，敬請期待~~