大家可能聽說過網(wǎng)絡(luò)爬蟲但是又不是很了解，只能明白一些相關(guān)作用，但是對(duì)于概念，其實(shí)簡(jiǎn)單來講，網(wǎng)絡(luò)爬蟲（又稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機(jī)器人，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁追逐者），是一種按照一定的規(guī)則，自動(dòng)地抓取萬維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動(dòng)索引、模擬程序或者蠕蟲，這就是基本概念。那么有的朋友也是很想了解了解它的相關(guān)知識(shí)，那么就讓小編來告訴你關(guān)于搜索引擎網(wǎng)絡(luò)爬蟲的相關(guān)訣竅，一定要學(xué)會(huì)掌握！
一、什么是網(wǎng)絡(luò)爬蟲
網(wǎng)絡(luò)爬蟲是一個(gè)自動(dòng)提取網(wǎng)頁的程序，它為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁，是搜索引擎的重要組成。傳統(tǒng)爬蟲從一個(gè)或若干初始網(wǎng)頁的URL開始，獲得初始網(wǎng)頁上的URL，在抓取網(wǎng)頁的過程中，不斷從當(dāng)前頁面上抽取新的URL放入隊(duì)列，直到滿足系統(tǒng)的一定停止條件。
二、爬蟲的分類：
1、通用網(wǎng)絡(luò)爬蟲：通用網(wǎng)絡(luò)爬蟲又稱全網(wǎng)爬蟲（Scalable Web Crawler），爬行對(duì)象從一些種子 URL 擴(kuò)充到整個(gè) Web，主要為門戶站點(diǎn)搜索引擎和大型 Web 服務(wù)提供商采集數(shù)據(jù)。 由于商業(yè)原因，它們的技術(shù)細(xì)節(jié)很少公布出來。 這類網(wǎng)絡(luò)爬蟲的爬行范圍和數(shù)量巨大，對(duì)于爬行速度和存儲(chǔ)空間要求較高，對(duì)于爬行頁面的順序要求相對(duì)較低，同時(shí)由于待刷新的頁面太多，通常采用并行工作方式，但需要較長時(shí)間才能刷新一次頁面。 雖然存在一定缺陷，通用網(wǎng)絡(luò)爬蟲適用于為搜索引擎搜索廣泛的主題，有較強(qiáng)的應(yīng)用價(jià)值。
2、聚焦網(wǎng)絡(luò)爬蟲：聚焦網(wǎng)絡(luò)爬蟲（Focused Crawler），又稱主題網(wǎng)絡(luò)爬蟲（Topical Crawler），是指選擇性地爬行那些與預(yù)先定義好的主題相關(guān)頁面的網(wǎng)絡(luò)爬蟲[8]。 和通用網(wǎng)絡(luò)爬蟲相比，聚焦爬蟲只需要爬行與主題相關(guān)的頁面，極大地節(jié)省了硬件和網(wǎng)絡(luò)資源，保存的頁面也由于數(shù)量少而更新快，還可以很好地滿足一些特定人群對(duì)特定領(lǐng)域信息的需求。
3、增量式網(wǎng)絡(luò)爬蟲：增量式網(wǎng)絡(luò)爬蟲（Incremental Web Crawler）是指對(duì)已下載網(wǎng)頁采取增量式更新和只爬行新產(chǎn)生的或者已經(jīng)發(fā)生變化網(wǎng)頁的爬蟲，它能夠在一定程度上保證所爬行的頁面是盡可能新的頁面。 和周期性爬行和刷新頁面的網(wǎng)絡(luò)爬蟲相比，增量式爬蟲只會(huì)在需要的時(shí)候爬行新產(chǎn)生或發(fā)生更新的頁面 ，并不重新下載沒有發(fā)生變化的頁面，可有效減少數(shù)據(jù)下載量，及時(shí)更新已爬行的網(wǎng)頁，減小時(shí)間和空間上的耗費(fèi)，但是增加了爬行算法的復(fù)雜度和實(shí)現(xiàn)難度。增量式網(wǎng)絡(luò)爬蟲的體系結(jié)構(gòu)[包含爬行模塊、排序模塊、更新模塊、本地頁面集、待爬行 URL 集以及本地頁面URL 集。
4、Deep Web 爬蟲：Web 頁面按存在方式可以分為表層網(wǎng)頁（Surface Web）和深層網(wǎng)頁（Deep Web，也稱 Invisible Web Pages 或 Hidden Web）。 表層網(wǎng)頁是指?jìng)鹘y(tǒng)搜索引擎可以索引的頁面，以超鏈接可以到達(dá)的靜態(tài)網(wǎng)頁為主構(gòu)成的 Web 頁面。Deep Web 是那些大部分內(nèi)容不能通過靜態(tài)鏈接獲取的、隱藏在搜索表單后的，只有用戶提交一些關(guān)鍵詞才能獲得的 Web 頁面。例如那些用戶注冊(cè)后內(nèi)容才可見的網(wǎng)頁就屬于 Deep Web。 2000 年 Bright Planet 指出：Deep Web 中可訪問信息容量是 Surface Web 的幾百倍，是互聯(lián)網(wǎng)上、發(fā)展最快的新型信息資源。
三、爬蟲抓取目標(biāo)分類：基于目標(biāo)網(wǎng)頁特征的爬蟲所抓取、存儲(chǔ)并索引的對(duì)象一般為網(wǎng)站或網(wǎng)頁。根據(jù)種子樣本獲取方式可分為：
1、基于目標(biāo)網(wǎng)頁特征：
1.1、預(yù)先給定的初始抓取種子樣本；
1.2、預(yù)先給定的網(wǎng)頁分類目錄和與分類目錄對(duì)應(yīng)的種子樣本，如Yahoo!分類結(jié)構(gòu)等；
1.3、通過用戶行為確定的抓取目標(biāo)樣例，分為：
Ⅰ、用戶瀏覽過程中顯示標(biāo)注的抓取樣本；
Ⅱ、通過用戶日志挖掘得到訪問模式及相關(guān)樣本。
其中，網(wǎng)頁特征可以是網(wǎng)頁的內(nèi)容特征，也可以是網(wǎng)頁的鏈接結(jié)構(gòu)特征，等等。
2、基于目標(biāo)數(shù)據(jù)模式：基于目標(biāo)數(shù)據(jù)模式的爬蟲針對(duì)的是網(wǎng)頁上的數(shù)據(jù)，所抓取的數(shù)據(jù)一般要符合一定的模式，或者可以轉(zhuǎn)化或映射為目標(biāo)數(shù)據(jù)模式。
3、基于領(lǐng)域概念：另一種描述方式是建立目標(biāo)領(lǐng)域的本體或詞典，用于從語義角度分析不同特征在某一主題中的重要程度。
四、網(wǎng)頁搜索策略：
網(wǎng)頁的抓取策略可以分為深度優(yōu)先、廣度優(yōu)先和優(yōu)先三種。深度優(yōu)先在很多情況下會(huì)導(dǎo)致爬蟲的陷入(trapped)問題，目前常見的是廣度優(yōu)先和優(yōu)先方法。
1、廣度優(yōu)先搜索
廣度優(yōu)先搜索策略是指在抓取過程中，在完成當(dāng)前層次的搜索后，才進(jìn)行下一層次的搜索。該算法的設(shè)計(jì)和實(shí)現(xiàn)相對(duì)簡(jiǎn)單。在目前為覆蓋盡可能多的網(wǎng)頁，一般使用廣度優(yōu)先搜索方法。也有很多研究將廣度優(yōu)先搜索策略應(yīng)用于聚焦爬蟲中。其基本思想是認(rèn)為與初始URL在一定鏈接距離內(nèi)的網(wǎng)頁具有主題相關(guān)性的概率很大。另外一種方法是將廣度優(yōu)先搜索與網(wǎng)頁過濾技術(shù)結(jié)合使用，先用廣度優(yōu)先策略抓取網(wǎng)頁，再將其中無關(guān)的網(wǎng)頁過濾掉。這些方法的缺點(diǎn)在于，隨著抓取網(wǎng)頁的增多，大量的無關(guān)網(wǎng)頁將被下載并過濾，算法的效率將變低。
2、優(yōu)先搜索
優(yōu)先搜索策略按照一定的網(wǎng)頁分析算法，預(yù)測(cè)候選URL與目標(biāo)網(wǎng)頁的相似度，或與主題的相關(guān)性，并選取評(píng)價(jià)最好的一個(gè)或幾個(gè)URL進(jìn)行抓取。它只訪問經(jīng)過網(wǎng)頁分析算法預(yù)測(cè)為“有用”的網(wǎng)頁。存在的一個(gè)問題是，在爬蟲抓取路徑上的很多相關(guān)網(wǎng)頁可能被忽略，因?yàn)閮?yōu)先策略是一種局部最優(yōu)搜索算法。因此需要將優(yōu)先結(jié)合具體的應(yīng)用進(jìn)行改進(jìn)，以跳出局部最優(yōu)點(diǎn)。將在第4節(jié)中結(jié)合網(wǎng)頁分析算法作具體的討論。研究表明，這樣的閉環(huán)調(diào)整可以將無關(guān)網(wǎng)頁數(shù)量降低30%~90%。
3、深度優(yōu)先搜索
深度優(yōu)先搜索策略從起始網(wǎng)頁開始，選擇一個(gè)URL進(jìn)入，分析這個(gè)網(wǎng)頁中的URL，選擇一個(gè)再進(jìn)入。如此一個(gè)鏈接一個(gè)鏈接地抓取下去，直到處理完一條路線之后再處理下一條路線。深度優(yōu)先策略設(shè)計(jì)較為簡(jiǎn)單。然而門戶網(wǎng)站提供的鏈接往往最具價(jià)值，PageRank也很高，但每深入一層，網(wǎng)頁價(jià)值和PageRank都會(huì)相應(yīng)地有所下降。這暗示了重要網(wǎng)頁通常距離種子較近，而過度深入抓取到的網(wǎng)頁卻價(jià)值很低。同時(shí)，這種策略抓取深度直接影響著抓取命中率以及抓取效率，對(duì)抓取深度是該種策略的關(guān)鍵。相對(duì)于其他兩種策略而言。此種策略很少被使用。
重慶分公司
重慶分公司
