運(yùn)行平臺(tái)：Windows

在平?jīng)龅鹊貐^(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都網(wǎng)站制作、網(wǎng)站設(shè)計(jì) 網(wǎng)站設(shè)計(jì)制作定制網(wǎng)站,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站建設(shè),網(wǎng)絡(luò)營(yíng)銷推廣,成都外貿(mào)網(wǎng)站建設(shè)公司,平?jīng)鼍W(wǎng)站建設(shè)費(fèi)用合理。

Python版本：Python3.x

IDE：Sublime text3

一、Scrapy簡(jiǎn)介

Scrapy是一個(gè)為了爬取網(wǎng)站數(shù)據(jù)提取結(jié)構(gòu)性數(shù)據(jù)而編寫(xiě)的應(yīng)用框架，可以應(yīng)用于數(shù)據(jù)挖掘，信息處理或存儲(chǔ)歷史數(shù)據(jù)等一些列的程序中。Scrapy最初就是為了網(wǎng)絡(luò)爬取而設(shè)計(jì)的?，F(xiàn)在，Scrapy已經(jīng)推出了曾承諾過(guò)的Python3.x版本。

為什么學(xué)習(xí)Scrapy呢？它能我們更好的完成爬蟲(chóng)任務(wù)，自己寫(xiě)Python爬蟲(chóng)程序好比孤軍奮戰(zhàn)，而使用了Scrapy就好比手底下有了千軍萬(wàn)馬。Scrapy可以起到事半功倍(甚至好幾倍*.*)的效果。所以，學(xué)習(xí)Scrapy也就顯得很有必要了。

二、Scrapy安裝

1.直接使用指令pip3 install scrapy，發(fā)現(xiàn)有諸多錯(cuò)誤。

• Failed building wheel for lxml
• Microsoft Visual C++ 10.0 is required
• Failed building twisted
• Unable to find vcvarsall.bat

遇到的錯(cuò)誤，如下圖所示：

2.解決辦法

(1)在cmd中輸入指令python，查看python的版本，如下：

從上圖可以看出可以看出我的Python版本為Python3.5.2-64bit。

(2)登陸http://www.lfd.uci.edu/~gohlke/pythonlibs/，Ctrl+F搜索Lxml、Twisted、Scrapy，下載對(duì)應(yīng)的版本，例如：lxml-3.7.3-cp35-cp35m-win_adm64.whl，表示lxml的版本為3.7.3，對(duì)應(yīng)的python版本為3.5-64bit。我下載的版本如下圖所示：

在cmd中輸入DOS指令，進(jìn)入下載好的whl文件夾下，例如我的三個(gè)whl文件放在了Scrapy文件夾下：

(4)依次執(zhí)行如下命令：

a.pip3 install wheel

b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl

c.pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

d.pip3 install Scrapy-1.3.2-py2.py3-none-any.whl

這樣Scrapy的安裝就完成了，請(qǐng)忽略最后兩行讓我升級(jí)pip的信息。*.*

(5)Srapy已經(jīng)安裝成功，還要下載pywin32，找到對(duì)應(yīng)版本下載，一路下一步安裝即可。安裝完成后，就可以正常使用Scrapy了。

URL：https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

至此，大功告成，我們可以愉快的使用Scrapy了。

總結(jié)

以上所述是小編給大家介紹的Python安裝scrapy的正確姿勢(shì)，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)創(chuàng)新互聯(lián)成都網(wǎng)站設(shè)計(jì)公司網(wǎng)站的支持！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)站欄目：詳解Python安裝scrapy的正確姿勢(shì)-創(chuàng)新互聯(lián)
網(wǎng)站網(wǎng)址：http://weahome.cn/article/dhceij.html