小編給大家分享一下Node.js如何實(shí)現(xiàn)多進(jìn)程處理CPU密集任務(wù),相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
創(chuàng)新互聯(lián)主營鞏義網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,app軟件開發(fā),鞏義h5微信小程序搭建,鞏義網(wǎng)站營銷推廣歡迎鞏義等地區(qū)企業(yè)咨詢
Node.js 單線程與多進(jìn)程
大家都知道 Node.js 性能很高,是以異步事件驅(qū)動(dòng)、非阻塞 I/O 而被廣泛使用。但缺點(diǎn)也很明顯,由于 Node.js 是單線程程序,如果長時(shí)間運(yùn)算,會(huì)導(dǎo)致 CPU 不能及時(shí)釋放,所以并不適合 CPU 密集型應(yīng)用。
當(dāng)然,也不是沒有辦法解決這個(gè)問題。雖然 Node.js 不支持多線程,但是可創(chuàng)建多子進(jìn)程來執(zhí)行任務(wù)。
Node.js 提供了 child_process 和 cluster 兩個(gè)模塊可用于創(chuàng)建多子進(jìn)程
下面我們就分別使用單線程和多進(jìn)程來模擬查找大量斐波那契數(shù)進(jìn)行 CPU 密集測試
以下代碼是查找 500 次位置為 35 的斐波那契數(shù)(方便測試,定了一個(gè)時(shí)間不需要太長也不會(huì)太短的位置)
單線程處理
代碼:single.js
function fibonacci(n) { if (n == 0 || n == 1) { return n; } else { return fibonacci(n - 1) + fibonacci(n - 2); } } let startTime = Date.now(); let totalCount = 500; let completedCount = 0; let n = 35; for (let i = 0; i < totalCount; i++) { fibonacci(n); completedCount++; console.log(`process: ${completedCount}/${totalCount}`); } console.log("? ? ? ? ? ? ? ? ? ?"); console.info(`任務(wù)完成,用時(shí): ${Date.now() - startTime}ms`); console.log("? ? ? ? ? ? ? ? ? ?");
執(zhí)行node single.js 查看結(jié)果
在我的電腦上顯示結(jié)果為44611ms(電腦配置不同也會(huì)有差異)。
...
process: 500/500
? ? ? ? ? ? ? ? ? ?
任務(wù)完成,用時(shí): 44611ms
? ? ? ? ? ? ? ? ? ?
查找 500 次需要 44 秒,太慢了??上攵绻恢酶?,數(shù)量更多...
那我們來嘗試用多進(jìn)程試試 ??
多進(jìn)程
采用 cluster 模塊,Master-Worker 模式來測試
共 3 個(gè) js,分別為主線程代碼:master.js、子進(jìn)程代碼:worker.js、入口代碼:cluster.js(入口可無需單獨(dú)寫一個(gè) js、這里是為了看起來更清楚一些)
主線程代碼:master.js
const cluster = require("cluster"); const numCPUs = require("os").cpus().length; // 設(shè)置子進(jìn)程執(zhí)行程序 cluster.setupMaster({ exec: "./worker.js", slient: true }); function run() { // 記錄開始時(shí)間 const startTime = Date.now(); // 總數(shù) const totalCount = 500; // 當(dāng)前已處理任務(wù)數(shù) let completedCount = 0; // 任務(wù)生成器 const fbGenerator = FbGenerator(totalCount); if (cluster.isMaster) { cluster.on("fork", function(worker) { console.log(`[master] : fork worker ${worker.id}`); }); cluster.on("exit", function(worker, code, signal) { console.log(`[master] : worker ${worker.id} died`); }); for (let i = 0; i < numCPUs; i++) { const worker = cluster.fork(); // 接收子進(jìn)程數(shù)據(jù) worker.on("message", function(msg) { // 完成一個(gè),記錄并打印進(jìn)度 completedCount++; console.log(`process: ${completedCount}/${totalCount}`); nextTask(this); }); nextTask(worker); } } else { process.on("message", function(msg) { console.log(msg); }); } /** * 繼續(xù)下一個(gè)任務(wù) * * @param {ChildProcess} worker 子進(jìn)程對(duì)象,將在此進(jìn)程上執(zhí)行本次任務(wù) */ function nextTask(worker) { // 獲取下一個(gè)參數(shù) const data = fbGenerator.next(); // 判斷是否已經(jīng)完成,如果完成則調(diào)用完成函數(shù),結(jié)束程序 if (data.done) { done(); return; } // 否則繼續(xù)任務(wù) // 向子進(jìn)程發(fā)送數(shù)據(jù) worker.send(data.value); } /** * 完成,當(dāng)所有任務(wù)完成時(shí)調(diào)用該函數(shù)以結(jié)束程序 */ function done() { if (completedCount >= totalCount) { cluster.disconnect(); console.log("? ? ? ? ? ? ? ? ? ?"); console.info(`任務(wù)完成,用時(shí): ${Date.now() - startTime}ms`); console.log("? ? ? ? ? ? ? ? ? ?"); } } } /** * 生成器 */ function* FbGenerator(count) { var n = 35; for (var i = 0; i < count; i++) { yield n; } return; } module.exports = { run };
1.這里是根據(jù)當(dāng)前電腦的邏輯 CPU 核數(shù)來創(chuàng)建子進(jìn)程的,不同電腦數(shù)量也會(huì)不一樣,我的 CPU 是 6 個(gè)物理核數(shù),由于支持超線程處理,所以邏輯核數(shù)是 12,故會(huì)創(chuàng)建出 12 個(gè)子進(jìn)程
2.主線程與子進(jìn)程之間通信是通過send方法來發(fā)送數(shù)據(jù),監(jiān)聽message事件來接收數(shù)據(jù)
3.不知道大家有沒有注意到我這里使用了 ES6 的 Generator 生成器來模擬生成每次需要查找的斐波那契數(shù)位置(雖然是寫死的 ?,為了和上面的單線程保證統(tǒng)一)。這么做是為了不讓所有任務(wù)一次性扔出去,因?yàn)榫退闳映鋈ヒ矔?huì)被阻塞,還不如放在程序端就給控制住,完成一個(gè),放一個(gè)。
子進(jìn)程代碼:worker.js
function fibonacci(n) { if (n == 0 || n == 1) { return n; } else { return fibonacci(n - 1) + fibonacci(n - 2); } } // 接收主線程發(fā)送過來的任務(wù),并開始查找斐波那契數(shù) process.on("message", n => { var res = fibonacci(n); // 查找結(jié)束后通知主線程,以便主線程再度進(jìn)行任務(wù)分配 process.send(res); }); 入口代碼:cluster.js // 引入主線程js,并執(zhí)行暴露出來的run方法 const master = require("./master"); master.run();
執(zhí)行node cluster.js 查看結(jié)果
在我的電腦上顯示結(jié)果為10724ms(電腦配置不同也會(huì)有差異)。
process: 500/500
? ? ? ? ? ? ? ? ? ?
任務(wù)完成,用時(shí): 10724ms
? ? ? ? ? ? ? ? ? ?
以上是“Node.js如何實(shí)現(xiàn)多進(jìn)程處理CPU密集任務(wù)”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對(duì)大家有所幫助,如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!