每一天，每一小時，每一分鐘，每一秒互聯(lián)網(wǎng)的數(shù)據(jù)都在不停的發(fā)生著變化，如果爬蟲想要獲取實時數(shù)據(jù)，也要跟隨網(wǎng)絡節(jié)奏不斷的進行更新，那么這里犀牛就為大家說說，關于網(wǎng)頁更新的問題，爬蟲是如何應對的？

創(chuàng)新互聯(lián)公司于2013年開始，先為渾江等服務建站，渾江等地企業(yè)，進行企業(yè)商務咨詢服務。為渾江企業(yè)網(wǎng)站制作PC+手機+微官網(wǎng)三網(wǎng)同步一站式服務解決您的所有建站問題。

應對方法第一條，把以往的數(shù)據(jù)作為參考

說的文雅一些就是“歷史記錄”，依據(jù)網(wǎng)頁頁面過去的歷史更新數(shù)據(jù)，
預測和分析網(wǎng)頁頁面的變動時機。通常情況下 ，是通過泊松過程進行建模進行預測。
爬蟲怎么應對網(wǎng)頁更新問題

應對方法第二條把用戶體驗作為參考

一般來說，搜索引擎用戶提交查詢后，相關的搜索結果可不是數(shù)的過來的，而用戶的耐心最多到前3頁的查詢結果。用戶體驗策略就是利用搜索引擎用戶的這一個特征來設計更新策略的。

這種更新策略的主導標準就是客戶的體驗，就算前3頁搜索引擎的內容已經(jīng)是好久之前的了，但是再不影響客戶體驗的前提下，晚一些更新好久之前的網(wǎng)頁內容也是可以的。因此判斷一個網(wǎng)頁頁面什么時候更新好，這要取決于這些網(wǎng)頁頁面的內容變化而產(chǎn)生的搜索引擎質量的變化，影響力越大的網(wǎng)頁頁面，更新的越快。

客戶體驗策略保存網(wǎng)頁的多個歷史版本，并依據(jù)以往每次內容變化對搜索質量的影響，算出一個均值，以此作為判斷網(wǎng)絡爬蟲重抓該網(wǎng)頁頁面時機的參照依據(jù)，針對影響越厲害的網(wǎng)頁頁面，則越優(yōu)先調度重新爬取。
應對方法第三條聚類抽樣原則

以上兩種更新原則都需要一個前提：需要試用歷史頁面的信息。那樣的前提就出現(xiàn)了2個問題，第一個問題系統(tǒng)要為每一系統(tǒng)儲存多個版本的歷史信息，例如網(wǎng)站的改動帶來的搜索引擎的重新抓取，保留原始和更新后的版本，這樣做必將增加了許多的系統(tǒng)負擔；第二個問題，假設是新站沒有網(wǎng)頁頁面的歷史信息，就沒法確定更新策略。

這類策略覺得，網(wǎng)頁頁面具有許多屬性，類似屬性的網(wǎng)頁頁面，都可以認為其更新頻率都是類似的。要測算某一個類別網(wǎng)頁的更新頻率，只需要對這一類網(wǎng)頁頁面抽樣，以它們的更新周期做為整個類別的更新周期。

上文介紹了爬蟲怎么應對網(wǎng)頁更新問題，有關實驗說明，聚類抽樣策略效果好于前述兩種更新策略，只是對以億計的網(wǎng)頁頁面開展聚類，其難度系數(shù)也是非常巨大的。

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

分享文章：網(wǎng)頁更新爬蟲如果應付-創(chuàng)新互聯(lián)
文章位置：http://weahome.cn/article/cdghsg.html