爬蟲工具Scrapy在Mac和Linux環(huán)境下都相對好裝，但是在Windows上總會碰到各種莫名其妙的問題。本文記錄下Scrapy在Window上的安裝過程。
本文是基于Python2.7及Windows 10安裝Scrapy及各種爬蟲相關(guān)庫。

創(chuàng)新互聯(lián)公司是專業(yè)的邛崍網(wǎng)站建設(shè)公司，邛崍接單;提供網(wǎng)站設(shè)計、成都網(wǎng)站制作,網(wǎng)頁設(shè)計,網(wǎng)站設(shè)計,建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進行邛崍網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團隊,希望更多企業(yè)前來合作!

下載安裝Scrapy

Scrapy官方文檔

1. 按照官網(wǎng)建議下載安裝Anaconda,使用這個安裝比直接pip安裝會少很多問題。
   下載地址

2. 安裝完成后，python2.7也會自動安裝好，然后執(zhí)行以下命令安裝Scrapy.

conda install -c conda-forge scrapy

安裝MySQL驅(qū)動

1. 下載并安裝mysql官方的驅(qū)動程序。下載地址

2. 下載mysql的python驅(qū)動程序,可以把兩個都裝上，使用的時候再決定用哪個。

• MySQL官方的純Python驅(qū)動

pip install mysql-connector-python

• 封裝了MySQL C驅(qū)動的Python驅(qū)動

  1. 安裝Python版C++編譯程序。下載地址

  2. 拷貝mysql驅(qū)動(32位不需要這一步)，將"C:\Program Files\MySQL" 拷貝到 "C:\Program Files (x86)\MySQL"。
     目的是為了防止下一步的錯誤"Cannot open include file: 'config-win.h': No such file or directory"

  3. 安裝驅(qū)動

     pip install MySQL-python

  4. 安裝數(shù)據(jù)庫連接池工具

     pip install DBUtils

安裝其它相關(guān)的依賴庫

安裝BeautifulSoup

Beautiful Soup提供一些簡單的、python式的函數(shù)用來處理導(dǎo)航、搜索、修改分析樹等功能。

pip install beautifulsoup4

安裝PyQuery

PyQuery庫也是一個非常強大又靈活的網(wǎng)頁解析庫。

pip install pyquery