本文實(shí)例講述了node實(shí)現(xiàn)的爬蟲功能。分享給大家供大家參考,具體如下:
node是服務(wù)器端的語(yǔ)言,所以可以像python一樣對(duì)網(wǎng)站進(jìn)行爬取,下面就使用node對(duì)博客園進(jìn)行爬取,得到其中所有的章節(jié)信息。
第一步: 建立crawl文件,然后npm init。
第二步: 建立crawl.js文件,一個(gè)簡(jiǎn)單的爬取整個(gè)頁(yè)面的代碼如下所示:
var http = require("http"); var url = "http://www.cnblogs.com"; http.get(url, function (res) { var html = ""; res.on("data", function (data) { html += data; }); res.on("end", function () { console.log(html); }); }).on("error", function () { console.log("獲取課程結(jié)果錯(cuò)誤!"); });
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無(wú)理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。