小編給大家分享一下node.js“多線程”怎么處理高并發(fā)任務(wù)？，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！
創(chuàng)新互聯(lián)成立與2013年，先為武昌等服務(wù)建站，武昌等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為武昌企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。
下面本篇文章給大家介紹一下使用 nodejs “多線程”處理高并發(fā)任務(wù)的方法。有一定的參考價(jià)值，有需要的朋友可以參考一下，希望對大家有所幫助。
相關(guān)推薦：《nodejs視頻教程》
摩爾定律是由英特爾聯(lián)合創(chuàng)始人戈登·摩爾(Gordon Moore)在 1965 年提出的，即集成電路上可容納的元器件的數(shù)量每隔 18 至 24 個(gè)月就會增加一倍，性能也將提升一倍。也就是說，處理器（CPU）的性能每隔大約兩年就會翻一倍。
距離摩爾定律被提出到現(xiàn)在，已經(jīng)過去了 50 多年。如今，隨著芯片組件的規(guī)模越來越接近單個(gè)原子的規(guī)模，要跟上摩爾定律的步伐變得越來越困難。
在 2019 年，英偉達(dá) CEO 黃仁勛在 ECS 展會上說：“摩爾定律過去是每 5 年增長 10 倍，每 10 年增長 100 倍。而如今，摩爾定律每年只能增長幾個(gè)百分點(diǎn)，每 10 年可能只有 2 倍。因此，摩爾定律結(jié)束了?！?/p>
單個(gè)處理器（CPU）的性能越來越接近瓶頸，想要突破這個(gè)瓶頸，則需要充分利用 多線程技術(shù)，讓單個(gè)或多個(gè) CPU 可以同時(shí)執(zhí)行多個(gè)線程，更快的完成計(jì)算機(jī)任務(wù)。
我們都知道，Javascript 是單線程語言，Nodejs 利用 Javascript 的特性，使用事件驅(qū)動模型，實(shí)現(xiàn)了異步 I/O，而異步 I/O 的背后就是多線程調(diào)度。
重慶分公司
重慶分公司
Node 異步 I/O 的實(shí)現(xiàn)可以參考樸靈的 《深入淺出 Node.js》在 Go 語言中，可以通過創(chuàng)建 Goroutine 來顯式調(diào)用一條新線程，并且通過環(huán)境變量 GOMAXPROCS 來控制最大并發(fā)數(shù)。
在 Node 中，沒有 API 可以顯式創(chuàng)建新線程的 ，Node 實(shí)現(xiàn)了一些異步 I/O 的 API，例如 fs.readFile、http.request。這些異步 I/O 底層是調(diào)用了新線程執(zhí)行異步任務(wù)，再利用事件驅(qū)動的模式來獲取執(zhí)行結(jié)果。
服務(wù)端開發(fā)、工具開發(fā)可能都會需要使用到多線程開發(fā)。比如使用多線程處理復(fù)雜的爬蟲任務(wù)，用多線程來處理并發(fā)請求，使用多線程進(jìn)行文件處理等等...
在我們使用多線程時(shí)，一定要控制最大同時(shí)并發(fā)數(shù)。因?yàn)椴豢刂谱畲蟛l(fā)數(shù)，可能會導(dǎo)致 文件描述符 耗盡引發(fā)的錯(cuò)誤，帶寬不足引發(fā)的網(wǎng)絡(luò)錯(cuò)誤、端口限制引發(fā)的錯(cuò)誤等等。
在 Node 中并沒有用于控制最大并發(fā)數(shù)的 API 或者環(huán)境變量，所以接下來，我們就用幾行簡單的代碼來實(shí)現(xiàn)。
我們先假設(shè)下面的一個(gè)需求場景，我有一個(gè)爬蟲，需要每天爬取 100 篇掘金的文章，如果一篇一篇爬取的話太慢，一次爬取 100 篇會因?yàn)榫W(wǎng)絡(luò)連接數(shù)太多，導(dǎo)致很多請求直接失敗。
那我們可以來實(shí)現(xiàn)一下，每次請求 10 篇，分 10 次完成。這樣不僅可以把效率提升 10 倍，并且可以穩(wěn)定運(yùn)行。
下面來看看單個(gè)請求任務(wù)，代碼實(shí)現(xiàn)如下：
const axios = require("axios");
async function singleRequest(article_id) {
// 這里我們直接使用 axios 庫進(jìn)行請求
const reply = await axios.post(
"https://api.juejin.cn/content_api/v1/article/detail",
{
article_id,
}
);
return reply.data;
}為了方便演示，這里我們 100 次請求的都是同一個(gè)地址，我們來創(chuàng)建 100 個(gè)請求任務(wù)，代碼實(shí)現(xiàn)如下：
// 請求任務(wù)列表
const requestFnList = new Array(100)
.fill("6909002738705629198")
.map((id) => () => singleRequest(id));接下來，我們來實(shí)現(xiàn)并發(fā)請求的方法。這個(gè)方法支持同時(shí)執(zhí)行多個(gè)異步任務(wù)，并且可以限制最大并發(fā)數(shù)。在任務(wù)池的一個(gè)任務(wù)執(zhí)行完成后，新的異步任務(wù)會被推入繼續(xù)執(zhí)行，以保證任務(wù)池的高利用率。代碼實(shí)現(xiàn)如下：
const chalk = require("chalk");
const { log } = require("console");
/**
* 執(zhí)行多個(gè)異步任務(wù)
* @param {*} fnList 任務(wù)列表
* @param {*} max 最大并發(fā)數(shù)限制
* @param {*} taskName 任務(wù)名稱
*/
async function concurrentRun(fnList = [], max = 5, taskName = "未命名") {
if (!fnList.length) return;
log(chalk.blue(`開始執(zhí)行多個(gè)異步任務(wù)，最大并發(fā)數(shù)： ${max}`));
const replyList = []; // 收集任務(wù)執(zhí)行結(jié)果
const count = fnList.length; // 總?cè)蝿?wù)數(shù)量
const startTime = new Date().getTime(); // 記錄任務(wù)執(zhí)行開始時(shí)間
let current = 0;
// 任務(wù)執(zhí)行程序
const schedule = async (index) => {
return new Promise(async (resolve) => {
const fn = fnList[index];
if (!fn) return resolve();
// 執(zhí)行當(dāng)前異步任務(wù)
const reply = await fn();
replyList[index] = reply;
log(`${taskName} 事務(wù)進(jìn)度 ${((++current / count) * 100).toFixed(2)}% `);
// 執(zhí)行完當(dāng)前任務(wù)后，繼續(xù)執(zhí)行任務(wù)池的剩余任務(wù)
await schedule(index + max);
resolve();
});
};
// 任務(wù)池執(zhí)行程序
const scheduleList = new Array(max)
.fill(0)
.map((_, index) => schedule(index));
// 使用 Promise.all 批量執(zhí)行
const r = await Promise.all(scheduleList);
const cost = (new Date().getTime() - startTime) / 1000;
log(chalk.green(`執(zhí)行完成，最大并發(fā)數(shù)： ${max}，耗時(shí)：${cost}s`));
return replyList;
}從上面的代碼可以看出，使用 Node 進(jìn)行并發(fā)請求的關(guān)鍵就是 Promise.all，Promise.all 可以同時(shí)執(zhí)行多個(gè)異步任務(wù)。
在上面的代碼中，創(chuàng)建了一個(gè)長度為 max 最大并發(fā)數(shù)長度的數(shù)組，數(shù)組里放了對應(yīng)數(shù)量的異步任務(wù)。然后使用 Promise.all 同時(shí)執(zhí)行這些異步任務(wù)，當(dāng)單個(gè)異步任務(wù)執(zhí)行完成時(shí)，會在任務(wù)池取出一個(gè)新的異步任務(wù)繼續(xù)執(zhí)行，完成了效率最大化。
接下來，我們用下面這段代碼進(jìn)行執(zhí)行測試（代碼實(shí)現(xiàn)如下）
(async () => {
const requestFnList = new Array(100)
.fill("6909002738705629198")
.map((id) => () => singleRequest(id));
const reply = await concurrentRun(requestFnList, 10, "請求掘金文章");
})();最終執(zhí)行結(jié)果如下圖所示：
到這里，我們的并發(fā)請求就完成啦！接下來我們分別來測試一下不同并發(fā)的速度吧~ 首先是 1 個(gè)并發(fā)，也就是沒有并發(fā)（如下圖）
耗時(shí) 11.462 秒！當(dāng)不使用并發(fā)時(shí)，任務(wù)耗時(shí)非常長，接下來我們看看在其他并發(fā)數(shù)的情況下耗時(shí)（如下圖）
從上圖可以看出，隨著我們并發(fā)數(shù)的提高，任務(wù)執(zhí)行速度越來越快！這就是高并發(fā)的優(yōu)勢，可以在某些情況下提升數(shù)倍乃至數(shù)十倍的效率！
我們仔細(xì)看看上面的耗時(shí)會發(fā)現(xiàn)，隨著并發(fā)數(shù)的增加，耗時(shí)還是會有一個(gè)閾值，不能完全呈倍數(shù)增加。這是因?yàn)?Node 實(shí)際上并沒有為每一個(gè)任務(wù)開一個(gè)線程進(jìn)行處理，而只是為異步 I/O 任務(wù)開啟了新的線程。所以，Node 比較適合處理 I/O 密集型任務(wù)，并不適合 CPU（計(jì)算）密集型任務(wù)。
到這里，我們的使用 Node “多線程”處理高并發(fā)任務(wù)就介紹完了。如果想要程序完善一點(diǎn)的話，還需要考慮到任務(wù)超時(shí)時(shí)間、容錯(cuò)機(jī)制，大家感興趣的可以自己實(shí)現(xiàn)一下。
看完了這篇文章，相信你對“node.js“多線程”怎么處理高并發(fā)任務(wù)？”有了一定的了解，如果想了解更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！
