一、開發(fā)環(huán)境

創(chuàng)新互聯(lián)公司主要從事成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)潁泉,十載網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):18980820575

Centos6.0

Scrapy1.5

Python3.6

Mongodb3.6

Pycharm

二、Scrapy1.5安裝

pip install scrapy

如果Python3.6時(shí)通過編譯安裝的，先進(jìn)行如下設(shè)置，設(shè)置環(huán)境變量，設(shè)置別名。

                

安裝遇到的問題：

pip無法請(qǐng)求HTTPS類型的網(wǎng)站，原因是缺少SSL模塊。解決辦法安裝openssl-devel。命令是 sudo yum install -y openssl-devel

SSL安裝成功

現(xiàn)在執(zhí)行pip3 install scrapy 還是報(bào)錯(cuò)，這是因?yàn)槲覀兊腜ython3.6是通過編譯安裝的，所以要重新編譯Python以兼容SSL模塊。

編譯安裝執(zhí)行make && make install完畢后，再執(zhí)行pip3 install scrapy又報(bào)了一個(gè)錯(cuò)誤，找不到twisted大于13.1.0的版本。

打開瀏覽器，輸入https://pypi.org/ 搜索twisted并下載。完成后通過rz命令導(dǎo)入到服務(wù)器中，移動(dòng)到soft文件中。使用tar -xvjf 進(jìn)行解壓縮，進(jìn)入到解壓后的twisted文件中，使用Python3 setup.py install安裝。

再次pip3 install scrapy，成功。安裝位置在python安裝文件的bin目錄下，編輯.bashrc，設(shè)置別名。使用source .bashrc編譯。在命令行輸入scrapy即可。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)頁標(biāo)題：Python爬蟲框架開發(fā)環(huán)境簡(jiǎn)介和Scrapy安裝-創(chuàng)新互聯(lián)
分享鏈接：http://weahome.cn/article/coopsp.html