創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買多久送多久，劃算不套路！

作為一家“創(chuàng)意+整合+營(yíng)銷”的成都網(wǎng)站建設(shè)機(jī)構(gòu)，我們?cè)跇I(yè)內(nèi)良好的客戶口碑。創(chuàng)新互聯(lián)公司提供從前期的網(wǎng)站品牌分析策劃、網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站、成都網(wǎng)站建設(shè)、創(chuàng)意表現(xiàn)、網(wǎng)頁制作、系統(tǒng)開發(fā)以及后續(xù)網(wǎng)站營(yíng)銷運(yùn)營(yíng)等一系列服務(wù)，幫助企業(yè)打造創(chuàng)新的互聯(lián)網(wǎng)品牌經(jīng)營(yíng)模式與有效的網(wǎng)絡(luò)營(yíng)銷方法,創(chuàng)造更大的價(jià)值。

本文全面的介紹了爬蟲的原理、技術(shù)現(xiàn)狀、以及目前仍面臨的問題。如果你沒接觸過爬蟲，本文很適合你，如果你是一名資深的蟲師，那么文末的彩蛋你可能感興趣。

一. 需求

萬維網(wǎng)上有著無數(shù)的網(wǎng)頁，包含著海量的信息，無孔不入、森羅萬象。但很多時(shí)候，無論出于數(shù)據(jù)分析或產(chǎn)品需求，我們需要從某些網(wǎng)站，提取出我們感興趣、有價(jià)值的內(nèi)容，但是縱然是進(jìn)化到21世紀(jì)的人類，依然只有兩只手，一雙眼，不可能去每一個(gè)網(wǎng)頁去點(diǎn)去看，然后再復(fù)制粘貼。所以我們需要一種能自動(dòng)獲取網(wǎng)頁內(nèi)容并可以按照指定規(guī)則提取相應(yīng)內(nèi)容的程序，這就是爬蟲。

二. 原理

傳統(tǒng)爬蟲從一個(gè)或若干初始網(wǎng)頁的URL開始，獲得初始網(wǎng)頁上的URL，在抓取網(wǎng)頁的過程中，不斷從當(dāng)前頁面上抽取新的URL放入隊(duì)列,直到滿足系統(tǒng)的一定停止條件。聚焦爬蟲的工作流程較為復(fù)雜，需要根據(jù)一定的網(wǎng)頁分析算法過濾與主題無關(guān)的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊(duì)列。然后，它將根據(jù)一定的搜索策略從隊(duì)列中選擇下一步要抓取的網(wǎng)頁URL，并重復(fù)上述過程，直到達(dá)到系統(tǒng)的某一條件時(shí)停止。另外，所有被爬蟲抓取的網(wǎng)頁將會(huì)被系統(tǒng)存貯，進(jìn)行一定的分析、過濾，并建立索引，以便之后的查詢和檢索；所以一個(gè)完整的爬蟲一般會(huì)包含如下三個(gè)模塊：   

1. 網(wǎng)絡(luò)請(qǐng)求模塊

2. 爬取流程控制模塊

3. 內(nèi)容分析提取模塊

三. 網(wǎng)絡(luò)請(qǐng)求

我們常說爬蟲其實(shí)就是一堆的http(s)請(qǐng)求，找到待爬取的鏈接，然后發(fā)送一個(gè)請(qǐng)求包，得到一個(gè)返回包，當(dāng)然，也有HTTP長(zhǎng)連接(keep-alive)或h6中基于stream的websocket協(xié)議，這里暫不考慮，所以核心的幾個(gè)要素就是：

1. url

2. 請(qǐng)求header、body

3. 響應(yīng)herder、內(nèi)容

四. URL

爬蟲開始運(yùn)行時(shí)需要一個(gè)初始url，然后會(huì)根據(jù)爬取到的html文章，解析里面的鏈接，然后繼續(xù)爬取，這就像一棵多叉樹，從根節(jié)點(diǎn)開始，每走一步，就會(huì)產(chǎn)生新的節(jié)點(diǎn)。為了使爬蟲能夠結(jié)束，一般都會(huì)指定一個(gè)爬取深度(Depth)。

五. Http請(qǐng)求

http請(qǐng)求信息由請(qǐng)求方法(method)、請(qǐng)求頭(headers)、請(qǐng)求正文(body)三部分組成。由于method一般是header中的第一行，也可以說請(qǐng)求頭中包含請(qǐng)求方法，下面是chrome訪問請(qǐng)求頭的一部分：

 GET / HTTP/1.1
 Connection:Keep-Alive
 Host:gsw.iguoxue.org
 User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36
 Accept-Encoding:gzip, deflate, sdch, br

網(wǎng)站題目：爬蟲技術(shù)詳解-創(chuàng)新互聯(lián)
文章源于：http://weahome.cn/article/icogi.html