創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務器提供商，新人活動買多久送多久，劃算不套路！

河源ssl適用于網(wǎng)站、小程序/APP、API接口等需要進行數(shù)據(jù)傳輸應用場景，ssl證書未來市場廣闊！成為創(chuàng)新互聯(lián)公司的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：028-86922220（備注：SSL證書合作）期待與您的合作！

這篇文章將為大家詳細講解有關什么是scrapy框架，文章內(nèi)容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。

一、安裝scrapy框架

pip install scrapy

二、創(chuàng)建一個scrapy項目

安裝完成后，python會自動將 scrapy命令添加到環(huán)境變量中去，這時我們就可以使用 scrapy命令來創(chuàng)建我們的第一個 scrapy項目了。

打開命令行，輸入如下命令

scrapy startproject yourproject

這里的 startproject 命令將會在當前目錄下創(chuàng)建一個 scrapy項目，后面跟著的參數(shù)是需要創(chuàng)建的項目的名稱。

比如這里我們會創(chuàng)建一個名為 yourproject 的項目，項目結構如下：

yourproject/
    scrapy.cfg
    yourproject/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

這些文件分別是：

scrapy.cfg: 項目的配置文件

yourproject/: 該項目的python模塊。該項目的所有代碼都在這個目錄下

yourproject/items.py: 項目中的item文件，我們在這個文件里定義要爬取的數(shù)據(jù)，有點類似于 Django的 model。

yourproject/pipelines.py:項目中的pipelines文件（我把這個稱為通道文件，意思就是數(shù)據(jù)處理的通道），對爬取到的數(shù)據(jù)進行處理（如：儲存）

yourproject/settings.py: 項目的設置文件，設置全局變量的值、通道的開啟和關閉以及多個通道和爬蟲的執(zhí)行優(yōu)先級

yourproject/spiders/: 爬蟲的主要邏輯都在這個文件夾里，包括頁面請求、數(shù)據(jù)提取、反爬措施等。

關于什么是scrapy框架就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

網(wǎng)站欄目：什么是scrapy框架-創(chuàng)新互聯(lián)
網(wǎng)頁鏈接：http://weahome.cn/article/ddocsc.html