這篇文章主要介紹了python爬蟲框架Scrapy怎么安裝使用的相關知識，內(nèi)容詳細易懂，操作簡單快捷，具有一定借鑒價值，相信大家閱讀完這篇python爬蟲框架Scrapy怎么安裝使用文章都會有所收獲，下面我們一起來看看吧。
建網(wǎng)站原本是網(wǎng)站策劃師、網(wǎng)絡程序員、網(wǎng)頁設計師等，應用各種網(wǎng)絡程序開發(fā)技術和網(wǎng)頁設計技術配合操作的協(xié)同工作。創(chuàng)新互聯(lián)公司專業(yè)提供網(wǎng)站設計、網(wǎng)站制作,網(wǎng)頁設計,網(wǎng)站制作(企業(yè)站、成都響應式網(wǎng)站建設公司、電商門戶網(wǎng)站)等服務,從網(wǎng)站深度策劃、搜索引擎友好度優(yōu)化到用戶體驗的提升,我們力求做到極致!
官方示意圖：
自制示意圖：
直接在命令行pip即可，此外還需要安裝一個依賴庫pypiwin32，也是直接pip即可
pip install scrapy pip install pypiwin32
創(chuàng)建項目：
scrapy startproject [爬蟲項目名稱]
創(chuàng)建爬蟲
注意：要先進入到項目所在的路徑，再執(zhí)行命令
scrapy genspider [爬蟲名稱] "[爬取的域名]"
打開pycharm以后即可看到：
| 目錄名稱 | 作用 |
|---|---|
| items.py | 用來存放爬蟲爬取下來數(shù)據(jù)的模型 |
| middlewares.py | 用來存放各種中間件的文件 |
| pipelines.py | 用來將items的模型存儲到本地磁盤 |
| settings.py | 本爬蟲的一些配置信息（比如請求頭、多久發(fā)送一次請求、ip代理池等） |
| scrapy.cfg | 項目的配置文件 |
| spiders包 | 以后所有的爬蟲都存放在這個里面 |
關于“python爬蟲框架Scrapy怎么安裝使用”這篇文章的內(nèi)容就介紹到這里，感謝各位的閱讀！相信大家對“python爬蟲框架Scrapy怎么安裝使用”知識都有一定的了解，大家如果還想學習更多知識，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
重慶分公司
重慶分公司
