創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買多久送多久，劃算不套路！
小編給大家分享一下Python3爬蟲利器Scrapy的安裝方法，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！
Scrapy是一個(gè)十分強(qiáng)大的爬蟲框架，依賴的庫比較多，至少需要依賴的庫有Twisted 14.0、lxml 3.4和pyOpenSSL 0.14。在不同的平臺(tái)環(huán)境下，它所依賴的庫也各不相同，所以在安裝之前，最好確保把一些基本庫安裝好。本節(jié)就來介紹Scrapy在不同平臺(tái)的安裝方法。
1. 相關(guān)鏈接
官方網(wǎng)站：https://scrapy.org
官方文檔：https://docs.scrapy.org
PyPI：https://pypi.python.org/pypi/Scrapy
GitHub：https://github.com/scrapy/scrapy
中文文檔：http://scrapy-chs.readthedocs.io
2. Anaconda安裝
這是一種比較簡單的安裝Scrapy的方法（尤其是對(duì)于Windows來說），如果你的Python是使用Anaconda安裝的，或者還沒有安裝Python的話，可以使用此方法安裝，這種方法簡單、省力。當(dāng)然，如果你的Python不是通過Anaconda安裝的，可以繼續(xù)看后面的內(nèi)容。
關(guān)于Anaconda的安裝方式，可以查看1.1節(jié)，在此不再贅述。
如果已經(jīng)安裝好了Anaconda，那么可以通過conda命令安裝Scrapy，具體如下：
conda install Scrapy
3. Windows下的安裝
如果你的Python不是使用Anaconda安裝的，可以參考如下方式來一步步安裝Scrapy。
安裝lxml
lxml的安裝過程請(qǐng)參見1.3.1節(jié)，在此不再贅述，此庫非常重要，請(qǐng)一定要安裝成功。
安裝pyOpenSSL
在官方網(wǎng)站下載wheel文件（詳見https://pypi.python.org/pypi/pyOpenSSL#downloads）即可，如圖1-76所示。
圖1-76 下載頁面
下載后利用pip安裝即可：
pip3 install pyOpenSSL-17.2.0-py2.py3-none-any.whl
安裝Twisted
到http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下載wheel文件，利用pip安裝即可。
比如，對(duì)于Python 3.6版本、Windows 64位系統(tǒng)，則當(dāng)前最新版本為Twisted?17.5.0?cp36?cp36m?win_amd64.whl，直接下載即可，如圖1-77所示。
圖1-77 下載頁面
然后通過pip安裝：
pip3 install Twisted?17.5.0?cp36?cp36m?win_amd64.whl
安裝PyWin32
從官方網(wǎng)站下載對(duì)應(yīng)版本的安裝包即可，鏈接為：https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/，如圖1-78所示。
圖1-78 下載列表
比如對(duì)于Python 3.6版本，可以選擇下載pywin32-221.win-amd64-py3.6.exe，下載完畢之后雙擊安裝即可。
注意，這里使用的是Build 221版本，隨著時(shí)間推移，版本肯定會(huì)繼續(xù)更新，最新的版本可以查看https://sourceforge.net/projects/pywin32/files/pywin32/，到時(shí)查找最新的版本安裝即可。
安裝Scrapy
安裝好了以上的依賴庫后，安裝Scrapy就非常簡單了，這里依然使用pip，命令如下：
pip3 install Scrapy
等待命令結(jié)束，如果沒有報(bào)錯(cuò)，就證明Scrapy已經(jīng)安裝好了。
4. Linux下的安裝
在Linux下的安裝方式依然分為兩類平臺(tái)來介紹。
CentOS和Red Hat
在CentOS和Red Hat下，首先確保一些依賴庫已經(jīng)安裝，運(yùn)行如下命令：
sudo yum groupinstall -y development tools sudo yum install -y epel-release libxslt-devel libxml2-devel openssl-devel
最后利用pip安裝Scrapy即可：
pip3 install Scrapy
Ubuntu、Debian和Deepin
在Ubuntu、Debian和Deepin平臺(tái)下，首先確保一些依賴庫已經(jīng)安裝，運(yùn)行如下命令：
sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
然后利用pip安裝Scrapy即可：
pip3 install Scrapy
運(yùn)行完畢后，就完成Scrapy的安裝了。
5. Mac下的安裝
在Mac下，首先也是進(jìn)行依賴庫的安裝。
在Mac上構(gòu)建Scrapy的依賴庫需要C編譯器以及開發(fā)頭文件，它一般由Xcode提供，具體命令如下：
xcode-select --install
隨后利用pip安裝Scrapy即可：
pip3 install Scrapy
6. 驗(yàn)證安裝
安裝之后，在命令行下輸入scrapy，如果出現(xiàn)類似如圖1-79所示的結(jié)果，就證明Scrapy安裝成功了。
圖1-79 驗(yàn)證安裝
7. 常見錯(cuò)誤
在安裝過程中，常見的錯(cuò)誤匯總?cè)缦隆?/p>
pkg_resources.VersionConflict: (six 1.5.2 (/usr/lib/python3/dist-packages), Requirement.parse('six>=1.6.0'))
這是six包版本過低出現(xiàn)的錯(cuò)誤。six包是一個(gè)提供兼容Python 2和Python 3的庫，這時(shí)升級(jí)six包即可：
sudo pip3 install -U six
c/_cffi_backend.c:15:17: fatal error: ffi.h: No such file or directory
這是在Linux下常出現(xiàn)的錯(cuò)誤，缺少libffi庫造成的。什么是libffi？FFI的全名是Foreign Function Interface，通常指的是允許以一種語言編寫的代碼調(diào)用另一種語言的代碼。而libffi庫只提供了最底層的、與架構(gòu)相關(guān)的、完整的FFI。此時(shí)安裝相應(yīng)的庫即可。
在Ubuntu和Debian下，直接執(zhí)行如下命令即可：
sudo apt-get install build-essential libssl-dev libffi-dev python3-dev
在CentOS和Red Hat下，直接執(zhí)行如下命令即可：
sudo yum install gcc libffi-devel python-devel openssl-devel
Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build/cryptography/
這是缺少加密的相關(guān)組件，此時(shí)利用pip安裝即可：
pip3 install cryptography
ImportError: No module named 'packaging'
這是因?yàn)槿鄙賞ackaging包出現(xiàn)的錯(cuò)誤，這個(gè)包提供了Python包的核心功能，此時(shí)利用pip安裝即可。
ImportError: No module named '_cffi_backend'
這個(gè)錯(cuò)誤表示缺少cffi包，直接使用pip安裝即可：
pip3 install cffi
ImportError: No module named 'pyparsing'
這個(gè)錯(cuò)誤表示缺少pyparsing包，直接使用pip安裝即可：
pip3 install pyparsing appdirs
以上是Python3爬蟲利器Scrapy的安裝方法的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道！
重慶分公司
重慶分公司
