這期內(nèi)容當中小編將會給大家?guī)碛嘘P(guān)nodejs中怎么實現(xiàn)一個多頁面爬蟲，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。
在溧水等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計 網(wǎng)站設(shè)計制作按需定制網(wǎng)站,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站設(shè)計,成都全網(wǎng)營銷,外貿(mào)營銷網(wǎng)站建設(shè),溧水網(wǎng)站建設(shè)費用合理。
request
用于請求地址和快速下載圖片流。 https://github.com/request/request
cheerio
為服務(wù)器特別定制的，快速、靈活、實施的jQuery核心實現(xiàn).
便于解析html代碼。 https://www.npmjs.com/package/cheerio
async
異步調(diào)用，防止堵塞。 http://caolan.github.io/async/
核心思路
用request 發(fā)送一個請求。獲取html代碼，取得其中的img標簽和a標簽。
通過獲取的a表情進行遞歸調(diào)用。不斷獲取img地址和a地址，繼續(xù)遞歸
獲取img地址通過request(photo).pipe(fs.createWriteStream(dir + “/” + filename));進行快速下載。
重慶分公司
重慶分公司
function requestall(url) {
request({
uri: url,
headers: setting.header
}, function (error, response, body) {
if (error) {
console.log(error);
} else {
console.log(response.statusCode);
if (!error && response.statusCode == 200) {
var $ = cheerio.load(body);
var photos = [];
$('img').each(function () {
// 判斷地址是否存在
if ($(this).attr('src')) {
var src = $(this).attr('src');
var end = src.substr(-4, 4).toLowerCase();
if (end == '.jpg' || end == '.png' || end == '.jpeg') {
if (IsURL(src)) {
photos.push(src);
}
}
}
});
downloadImg(photos, dir, setting.download_v);
// 遞歸爬蟲
$('a').each(function () {
var murl = $(this).attr('href');
if (IsURL(murl)) {
setTimeout(function () {
fetchre(murl);
}, timeout);
timeout += setting.ajax_timeout;
} else {
setTimeout(function () {
fetchre("http://www.ivsky.com/" + murl);
}, timeout);
timeout += setting.ajax_timeout;
}
})
}
}
});
}防坑
1.在request通過圖片地址下載時，綁定error事件防止爬蟲異常的中斷。
2.通過async的mapLimit限制并發(fā)。
3.加入請求報頭，防止ip被屏蔽。
4.獲取一些圖片和超鏈接地址，可能是相對路徑（待考慮解決是否有通過方法）。
function downloadImg(photos, dir, asyncNum) {
console.log("即將異步并發(fā)下載圖片，當前并發(fā)數(shù)為:" + asyncNum);
async.mapLimit(photos, asyncNum, function (photo, callback) {
var filename = (new Date().getTime()) + photo.substr(-4, 4);
if (filename) {
console.log('正在下載' + photo);
// 默認
// fs.createWriteStream(dir + "/" + filename)
// 防止pipe錯誤
request(photo)
.on('error', function (err) {
console.log(err);
})
.pipe(fs.createWriteStream(dir + "/" + filename));
console.log('下載完成');
callback(null, filename);
}
}, function (err, result) {
if (err) {
console.log(err);
} else {
console.log(" all right ! ");
console.log(result);
}
})
}測試：
可以感覺到速度還是比較快的。
上述就是小編為大家分享的nodejs中怎么實現(xiàn)一個多頁面爬蟲了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
