Windows7（32位）安裝爬蟲利器Scrapy小結(jié)

安裝環(huán)境說明

我家中筆記本的環(huán)境非常簡單：

專注于為中小企業(yè)提供做網(wǎng)站、成都網(wǎng)站設(shè)計服務(wù),電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)濂溪免費做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了上千多家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實現(xiàn)規(guī)模擴充和轉(zhuǎn)變。

• Windows 7旗艦版32位（非SP1）
• Python 3.4.4（非SP1的WIN7下無法安裝版本3.5+）

  Scrapy安裝

  Scrapy重度依賴于lxml和twisted兩個框架。這也正是問題所在。開源環(huán)境下工具的安裝往往需要我們事先確定要安裝的工具庫依賴于哪些第三方庫及其相關(guān)的依賴。如果有一個依賴安裝要求滿足不了，則安裝失敗。因此，安裝前要做好必要的調(diào)查分析。

  試驗安裝Scrapy失敗

  最開始時，我在DOS命令行下使用如下命令安裝，但是失敗了：
  pip install scrapy

運行上述命令時，pip會默認(rèn)從https://files.pythonhosted.org網(wǎng)站上下載并安裝最新版本的scrapy庫，當(dāng)然它會自動分析當(dāng)前系統(tǒng)中已經(jīng)安裝的python版本。盡管如此，其所依賴的其他第三方庫并不會作嚴(yán)格檢查，結(jié)果會導(dǎo)致整個安裝僅查最后的百分之幾卻是以失敗結(jié)果而告終。

安裝lxml

絕大多數(shù)網(wǎng)站上推薦的Lxml安裝思路是從Python第三方庫的網(wǎng)站http://www.lfd.uci.edu/~gohlke/pythonlibs/上下載編譯好的.whl壓縮文件，如下圖：

但是，很遺憾，當(dāng)我現(xiàn)在跳轉(zhuǎn)到此網(wǎng)站找Python 3.4對應(yīng)版本的.WHL文件時，早已不存在了。但是，以它提供的合適的文件作參考lxml-3.7.3-cp34-cp34m-win32.whl，我再次從網(wǎng)絡(luò)上搜索，最終從開源網(wǎng)站github（https://github.com/Lucterios2/core/blob/master/packages/lxml-3.4.4-cp34-none-win32.whl）上找到一個文件lxml-3.4.4-cp34-none-win32.whl。

下載沒有問題，安裝前需要先安裝wheel，也很容易，最后安裝成功！

twisted不需要單獨專門安裝

成功安裝Scrapy

值得慶幸的是，Scrapy當(dāng)前最新版本也正是1.7.3，我從網(wǎng)絡(luò)上搜索到的文件名是Scrapy-1.7.3-py2.py3-none-any.whl。

下載地址也很經(jīng)典，是https://pypi.org/project/Scrapy/#files

下載容易，安裝也非常簡單，成功安裝！
而沒有直接使用命令pip install scrapy安裝。

小結(jié)

安裝過程中經(jīng)歷的挫折很多很多，盡管沒有細(xì)述，但是經(jīng)驗卻已經(jīng)寫了最前面。希望有興趣的讀者在行動前先要做到心中有數(shù)，而不是盲目地跟著某些文章中介紹的那樣上來就直接安裝，這樣的話，很可能會導(dǎo)致安裝了一些半成品——甚至算是垃圾，給自己的清理后的重新安裝都帶來很多麻煩！