本文介紹了Node.js爬蟲之網(wǎng)頁請求模塊,分享給大家,具體如下:
創(chuàng)新互聯(lián)是一家專業(yè)提供阿合奇企業(yè)網(wǎng)站建設(shè),專注與成都做網(wǎng)站、成都網(wǎng)站建設(shè)、H5響應(yīng)式網(wǎng)站、小程序制作等業(yè)務(wù)。10年已為阿合奇眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)絡(luò)公司優(yōu)惠進(jìn)行中。注:如您下載最新的nodegrass版本,由于部分方法已經(jīng)更新,本文的例子已經(jīng)不再適應(yīng),詳細(xì)請查看開源地址中的例子。
一、為什么我要寫這樣一個模塊?
源于筆者想使用Node.js寫一個爬蟲,雖然Node.js官方API提供的請求遠(yuǎn)程資源的方法已經(jīng)非常簡便,具體參考
http://nodejs.org/api/http.html 其中對于Http的請求提供了,http.get(options, callback)和http.request(options, callback)兩個方法,
看方法便知,get方法用于get方式的請求,而request方法提供更多的參數(shù),例如其它請求方式,請求主機(jī)的端口等等。對于Https的請求于Http類似。一個最簡單的例子:
var https = require('https'); https.get('https://encrypted.google.com/', function(res) { console.log("statusCode: ", res.statusCode); console.log("headers: ", res.headers); res.on('data', function(d) { process.stdout.write(d); }); }).on('error', function(e) { console.error(e); });
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。