創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買(mǎi)多久送多久，劃算不套路！
本篇文章給大家分享的是有關(guān)Scrapy是什么框架，有什么用，小編覺(jué)得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說(shuō)，跟著小編一起來(lái)看看吧。
網(wǎng)絡(luò)爬蟲(chóng)（Web crawler），是一種按照一定的規(guī)則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本，它們被廣泛用于互聯(lián)網(wǎng)搜索引擎或其他類(lèi)似網(wǎng)站，可以自動(dòng)采集所有其能夠訪問(wèn)到的頁(yè)面，以獲取這些網(wǎng)站的內(nèi)容。而Scrapy則是一種十分強(qiáng)大的爬蟲(chóng)框架，并且它是用python編寫(xiě)的。下面我們來(lái)一起看看什么是Scrapy?
一、所需知識(shí)
需要的知識(shí)有：linux系統(tǒng) + Python語(yǔ)言 +Scrapy框架 + XPath（XML路徑語(yǔ)言） + 一些輔助工具（瀏覽器的開(kāi)發(fā)者工具和XPath helper插件）。
我們的爬蟲(chóng)是使用Python語(yǔ)言的Scrapy爬蟲(chóng)框架開(kāi)發(fā)，在linux上運(yùn)行，所以需要熟練掌握Python語(yǔ)言和Scrapy框架以及l(fā)inux操作系統(tǒng)的基本知識(shí)。
我們需要使用XPath從目標(biāo)HTML頁(yè)面中提取我們想要的東西，包括漢語(yǔ)文字段落和“下一頁(yè)”的鏈接等。
瀏覽器的開(kāi)發(fā)者工具是編寫(xiě)爬蟲(chóng)主要使用的輔助工具。使用該工具可以分析頁(yè)面鏈接的規(guī)律，可以用來(lái)定位HTML頁(yè)面中想要提取的元素，然后提取其XPath表達(dá)式用于爬蟲(chóng)代碼中，還可以查看頁(yè)面請(qǐng)求頭的Referer、Cookie等信息。如果爬取的目標(biāo)是動(dòng)態(tài)網(wǎng)站，該工具還可以分析出背后的JavaScript請(qǐng)求。
XPath helper插件是chrome的一個(gè)插件，基于chrome核的瀏覽器也可以安裝。XPath helper可以用來(lái)調(diào)試XPath表達(dá)式。
二、環(huán)境搭建
安裝Scrapy可以使用pip命令：pip install Scrapy
Scrapy相關(guān)依賴較多，因此在安裝過(guò)程中可能遇到如下問(wèn)題：
ImportError: No module named w3lib.http
解決：pip install w3lib
ImportError: No module named twisted
解決：pip install twisted
ImportError: No module named lxml.HTML
解決：pip install lxml
error: libxml/xmlversion.h: No such file or directory
解決：apt-get install libxml2-dev libxslt-dev
apt-get install Python-lxml
ImportError: No module named cssselect
解決：pip install cssselect
ImportError: No module named OpenSSL
解決：pip install pyOpenSSL
建議：
使用簡(jiǎn)單的方法：使用anaconda安裝。
三、Scrapy框架
1. Scrapy簡(jiǎn)介
Scrapy是大名鼎鼎的爬蟲(chóng)框架，是使用Python編寫(xiě)的。Scrapy可以很方便的進(jìn)行web抓取，并且也可以很方便的根據(jù)自己的需求進(jìn)行定制。
2.Scrapy組件
Scrapy主要包括了以下組件：
引擎(Scrapy)
用來(lái)處理整個(gè)系統(tǒng)的數(shù)據(jù)流,觸發(fā)事務(wù)(框架核心)。
調(diào)度器(Scheduler)
用來(lái)接受引擎發(fā)過(guò)來(lái)的請(qǐng)求,壓入隊(duì)列中, 并在引擎再次請(qǐng)求的時(shí)候返回. 可以想像成一個(gè)URL（抓取網(wǎng)頁(yè)的網(wǎng)址或者說(shuō)是鏈接）的優(yōu)先隊(duì)列, 由它來(lái)決定下一個(gè)要抓取的網(wǎng)址是什么, 同時(shí)去除重復(fù)的網(wǎng)址。
下載器(Downloader)
用于下載網(wǎng)頁(yè)內(nèi)容, 并將網(wǎng)頁(yè)內(nèi)容返回給蜘蛛(Scrapy下載器是建立在twisted這個(gè)高效的異步模型上的) 。
爬蟲(chóng)(Spiders)
爬蟲(chóng)是主要干活的, 用于從特定的網(wǎng)頁(yè)中提取自己需要的信息, 即所謂的實(shí)體(Item)。用戶也可以從中提取出鏈接,讓Scrapy繼續(xù)抓取下一個(gè)頁(yè)面。
項(xiàng)目管道(Pipeline)
負(fù)責(zé)處理爬蟲(chóng)從網(wǎng)頁(yè)中抽取的實(shí)體，主要的功能是持久化實(shí)體、驗(yàn)證實(shí)體的有效性、清除不需要的信息。當(dāng)頁(yè)面被爬蟲(chóng)解析后，將被發(fā)送到項(xiàng)目管道，并經(jīng)過(guò)幾個(gè)特定的次序處理數(shù)據(jù)。
下載器中間件(Downloader Middlewares)
位于Scrapy引擎和下載器之間的框架，主要是處理Scrapy引擎與下載器之間的請(qǐng)求及響應(yīng)。
爬蟲(chóng)中間件(Spider Middlewares)
介于Scrapy引擎和爬蟲(chóng)之間的框架，主要工作是處理蜘蛛的響應(yīng)輸入和請(qǐng)求輸出。
調(diào)度中間件(Scheduler Middewares)
介于Scrapy引擎和調(diào)度之間的中間件，從Scrapy引擎發(fā)送到調(diào)度的請(qǐng)求和響應(yīng)。
Scrapy運(yùn)行流程：
1.引擎從調(diào)度器中取出一個(gè)鏈接(URL)用于接下來(lái)的抓取
2.引擎把URL封裝成一個(gè)請(qǐng)求(Request)傳給下載器
3.下載器把資源下載下來(lái)，并封裝成應(yīng)答包(Response)
4.爬蟲(chóng)解析Response
5.解析出實(shí)體（Item）,則交給實(shí)體管道進(jìn)行進(jìn)一步的處理
6.解析出的是鏈接（URL）,則把URL交給調(diào)度器等待抓取
以上就是Scrapy是什么框架，有什么用，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見(jiàn)到或用到的。希望你能通過(guò)這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。
重慶分公司
重慶分公司
