Node.js中stream模塊如何使用，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來(lái)學(xué)習(xí)下，希望你能有所收獲。

為北屯等地區(qū)用戶提供了全套網(wǎng)頁(yè)設(shè)計(jì)制作服務(wù)，及北屯網(wǎng)站建設(shè)行業(yè)解決方案。主營(yíng)業(yè)務(wù)為成都做網(wǎng)站、成都網(wǎng)站制作、成都外貿(mào)網(wǎng)站建設(shè)、北屯網(wǎng)站設(shè)計(jì)，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠(chéng)的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會(huì)得到認(rèn)可，從而選擇與我們長(zhǎng)期合作。這樣，我們也可以走得更遠(yuǎn)！

什么是stream

定義

流的英文stream，流（Stream）是一個(gè)抽象的數(shù)據(jù)接口，Node.js中很多對(duì)象都實(shí)現(xiàn)了流，流是EventEmitter對(duì)象的一個(gè)實(shí)例，總之它是會(huì)冒數(shù)據(jù)（以 Buffer 為單位），或者能夠吸收數(shù)據(jù)的東西，它的本質(zhì)就是讓數(shù)據(jù)流動(dòng)起來(lái)?？赡芸匆粡垐D會(huì)更直觀：

水桶管道流轉(zhuǎn)圖

注意：stream不是node.js獨(dú)有的概念，而是一個(gè)操作系統(tǒng)最基本的操作方式，只不過(guò)node.js有API支持這種操作方式。linux命令的|就是stream。

為什么要學(xué)習(xí)stream

視頻播放例子

小伙伴們肯定都在線看過(guò)電影，對(duì)比定義中的圖-水桶管道流轉(zhuǎn)圖，source就是服務(wù)器端的視頻，dest就是你自己的播放器(或者瀏覽器中的flash和h6 video)。大家想一下，看電影的方式就如同上面的圖管道換水一樣，一點(diǎn)點(diǎn)從服務(wù)端將視頻流動(dòng)到本地播放器，一邊流動(dòng)一邊播放，最后流動(dòng)完了也就播放完了。

說(shuō)明：視頻播放的這個(gè)例子，如果我們不使用管道和流動(dòng)的方式，直接先從服務(wù)端加載完視頻文件，然后再播放。會(huì)造成很多問(wèn)題

1. 鴻蒙官方戰(zhàn)略合作共建——HarmonyOS技術(shù)社區(qū)

2.  因內(nèi)存占有太多而導(dǎo)致系統(tǒng)卡頓或者崩潰

3.  因?yàn)槲覀兊木W(wǎng)速 內(nèi)存 cpu運(yùn)算速度都是有限的，而且還要有多個(gè)程序共享使用，一個(gè)視頻文件加載完可能有幾個(gè)g那么大。

讀取大文件data的例子

有一個(gè)這樣的需求，想要讀取大文件data的例子

使用文件讀取

const http = require('http');  const fs = require('fs');  const path = require('path');  const server = http.createServer(function (req, res) {      const fileName = path.resolve(__dirname, 'data.txt');      fs.readFile(fileName, function (err, data) {          res.end(data);      });  });  server.listen(8000);

使用文件讀取這段代碼語(yǔ)法上并沒(méi)有什么問(wèn)題，但是如果data.txt文件非常大的話，到了幾百M(fèi)，在響應(yīng)大量用戶并發(fā)請(qǐng)求的時(shí)候，程序可能會(huì)消耗大量的內(nèi)存，這樣可能造成用戶連接緩慢的問(wèn)題。而且并發(fā)請(qǐng)求過(guò)大的話，服務(wù)器內(nèi)存開銷也會(huì)很大。這時(shí)候我們來(lái)看一下用stream實(shí)現(xiàn)。

const http = require('http');  const fs = require('fs');  const path = require('path');  const server = http.createServer(function (req, res) {      const fileName = path.resolve(__dirname, 'data.txt');      let stream = fs.createReadStream(fileName);  // 這一行有改動(dòng)      stream.pipe(res); // 這一行有改動(dòng)  });  server.listen(8000);

使用stream就可以不需要把文件全部讀取了再返回，而是一邊讀取一邊返回，數(shù)據(jù)通過(guò)管道流動(dòng)給客戶端，真的減輕了服務(wù)器的壓力。

看了兩個(gè)例子我想小伙伴們應(yīng)該知道為什么要使用stream了吧！因?yàn)橐淮涡宰x取,操作大文件，內(nèi)存和網(wǎng)絡(luò)是吃不消的，因此要讓數(shù)據(jù)流動(dòng)起來(lái)，一點(diǎn)點(diǎn)的進(jìn)行操作。

stream流轉(zhuǎn)過(guò)程

再次看這張水桶管道流轉(zhuǎn)圖

圖中可以看出，stream整個(gè)流轉(zhuǎn)過(guò)程包括source，dest，還有連接二者的管道pipe(stream的核心)，分別介紹三者來(lái)帶領(lǐng)大家搞懂stream流轉(zhuǎn)過(guò)程。

stream從哪里來(lái)-soucre

stream的常見(jiàn)來(lái)源方式有三種：

1. 鴻蒙官方戰(zhàn)略合作共建——HarmonyOS技術(shù)社區(qū)

2.  從控制臺(tái)輸入

3.  http請(qǐng)求中的request

4.  讀取文件

這里先說(shuō)一下從控制臺(tái)輸入這種方式，2和3兩種方式stream應(yīng)用場(chǎng)景章節(jié)會(huì)有詳細(xì)的講解。

看一段process.stdin的代碼

process.stdin.on('data', function (chunk) {      console.log('stream by stdin', chunk)      console.log('stream by stdin', chunk.toString())  })  //控制臺(tái)輸入koalakoala后輸出結(jié)果  stream by stdin   stream by stdin koalakoala

運(yùn)行上面代碼：然后從控制臺(tái)輸入任何內(nèi)容都會(huì)被data 事件監(jiān)聽到，process.stdin就是一個(gè)stream對(duì)象,data 是stream對(duì)象用來(lái)監(jiān)聽數(shù)據(jù)傳入的一個(gè)自定義函數(shù)，通過(guò)輸出結(jié)果可看出process.stdin是一個(gè)stream對(duì)象。

說(shuō)明：stream對(duì)象可以監(jiān)聽"data","end","opne","close","error"等事件。node.js中監(jiān)聽自定義事件使用.on方法，例如process.stdin.on(‘data’,…), req.on(‘data’,…),通過(guò)這種方式，能很直觀的監(jiān)聽到stream數(shù)據(jù)的傳入和結(jié)束

連接水桶的管道-pipe

從水桶管道流轉(zhuǎn)圖中可以看到，在source和dest之間有一個(gè)連接的管道pipe,它的基本語(yǔ)法是source.pipe(dest)，source和dest就是通過(guò)pipe連接，讓數(shù)據(jù)從source流向了dest。

stream到哪里去-dest

stream的常見(jiàn)輸出方式有三種：

1. 鴻蒙官方戰(zhàn)略合作共建——HarmonyOS技術(shù)社區(qū)

2.  輸出控制臺(tái)

3.  http請(qǐng)求中的response

4.  寫入文件

stream應(yīng)用場(chǎng)景

stream的應(yīng)用場(chǎng)景主要就是處理IO操作，而http請(qǐng)求和文件操作都屬于IO操作。這里再提一下stream的本質(zhì)——由于一次性IO操作過(guò)大，硬件開銷太多，影響軟件運(yùn)行效率，因此將IO分批分段進(jìn)行操作，讓數(shù)據(jù)像水管一樣流動(dòng)起來(lái)，直到流動(dòng)完成，也就是操作完成。下面對(duì)幾個(gè)常用的應(yīng)用場(chǎng)景分別進(jìn)行介紹

介紹一個(gè)壓力測(cè)試的小工具

一個(gè)對(duì)網(wǎng)絡(luò)請(qǐng)求做壓力測(cè)試的工具ab，ab 全稱 Apache bench ，是 Apache 自帶的一個(gè)工具，因此使用 ab 必須要安裝 Apache 。mac os 系統(tǒng)自帶 Apache ，windows用戶視自己的情況進(jìn)行安裝。運(yùn)行ab 之前先啟動(dòng) Apache ，mac os 啟動(dòng)方式是 sudo apachectl start 。

Apache bench對(duì)應(yīng)參數(shù)的詳細(xì)學(xué)習(xí)地址，有興趣的可以看一下Apache bench對(duì)應(yīng)參數(shù)的詳細(xì)學(xué)習(xí)地址

介紹這個(gè)小工具的目的是對(duì)下面幾個(gè)場(chǎng)景可以進(jìn)行直觀的測(cè)試，看出使用stream帶來(lái)了哪些性能的提升。

get請(qǐng)求中應(yīng)用stream

這樣一個(gè)需求：

使用node.js實(shí)現(xiàn)一個(gè)http請(qǐng)求，讀取data.txt文件，創(chuàng)建一個(gè)服務(wù)，監(jiān)聽8000端口，讀取文件后返回給客戶端，講get請(qǐng)求的時(shí)候用一個(gè)常規(guī)文件讀取與其做對(duì)比，請(qǐng)看下面的例子。

•  常規(guī)使用文件讀取返回給客戶端response例子 ，文件命名為getTest1.js 

// getTest.js  const http = require('http');  const fs = require('fs');  const path = require('path');  const server = http.createServer(function (req, res) {      const method = req.method; // 獲取請(qǐng)求方法      if (method === 'GET') { // get 請(qǐng)求方法判斷          const fileName = path.resolve(__dirname, 'data.txt');          fs.readFile(fileName, function (err, data) {              res.end(data);          });      }  });  server.listen(8000);

•  使用stream返回給客戶端response 將上面代碼做部分修改，文件命名為getTest2.js 

// getTest2.js  // 主要展示改動(dòng)的部分  const server = http.createServer(function (req, res) {      const method = req.method; // 獲取請(qǐng)求方法      if (method === 'GET') { // get 請(qǐng)求          const fileName = path.resolve(__dirname, 'data.txt');          let stream = fs.createReadStream(fileName);          stream.pipe(res); // 將 res 作為 stream 的 dest      }  });  server.listen(8000);

對(duì)于下面get請(qǐng)求中使用stream的例子，會(huì)不會(huì)有些小伙伴提出質(zhì)疑，難道response也是一個(gè)stream對(duì)象，是的沒(méi)錯(cuò),對(duì)于那張水桶管道流轉(zhuǎn)圖,response就是一個(gè)dest。

雖然get請(qǐng)求中可以使用stream，但是相比直接file文件讀取·res.end(data)有什么好處呢？這時(shí)候我們剛才推薦的壓力測(cè)試小工具就用到了。getTest1和getTest2兩段代碼，將data.txt內(nèi)容增加大一些，使用ab工具進(jìn)行測(cè)試，運(yùn)行命令ab -n 100 -c 100 http://localhost:8000/，其中-n 100表示先后發(fā)送100次請(qǐng)求，-c 100表示一次性發(fā)送的請(qǐng)求數(shù)目為100個(gè)。對(duì)比結(jié)果分析使用stream后，有非常大的性能提升，小伙伴們可以自己實(shí)際操作看一下。

post中使用stream

一個(gè)通過(guò)post請(qǐng)求微信小程序的地址生成二維碼的需求。

/*  * 微信生成二維碼接口  * params src 微信url / 其他圖片請(qǐng)求鏈接  * params localFilePath: 本地路徑  * params data: 微信請(qǐng)求參數(shù)  * */  const downloadFile=async (src, localFilePath, data)=> {      try{          const ws = fs.createWriteStream(localFilePath);          returnnewPromise((resolve, reject) => {              ws.on('finish', () => {                  resolve(localFilePath);              });              if (data) {                  request({                      method: 'POST',                      uri: src,                      json: true,                      body: data                  }).pipe(ws);              } else {                  request(src).pipe(ws);              }          });      }catch (e){          logger.error('wxdownloadFile error: ',e);          throw e;      }  }

看這段使用了stream的代碼，為本地文件對(duì)應(yīng)的路徑創(chuàng)建一個(gè)stream對(duì)象，然后直接.pipe(ws),將post請(qǐng)求的數(shù)據(jù)流轉(zhuǎn)到這個(gè)本地文件中，這種stream的應(yīng)用在node后端開發(fā)過(guò)程中還是比較常用的。

post與get使用stream總結(jié)

request和reponse一樣，都是stream對(duì)象，可以使用stream的特性，二者的區(qū)別在于，我們?cè)倏匆幌滤肮艿懒鬓D(zhuǎn)圖，

request是source類型，是圖中的源頭，而response是dest類型，是圖中的目的地。

在文件操作中使用stream

一個(gè)文件拷貝的例子

const fs = require('fs')  const path = require('path')  // 兩個(gè)文件名  const fileName1 = path.resolve(__dirname, 'data.txt')  const fileName2 = path.resolve(__dirname, 'data-bak.txt')  // 讀取文件的 stream 對(duì)象  const readStream = fs.createReadStream(fileName1)  // 寫入文件的 stream 對(duì)象  const writeStream = fs.createWriteStream(fileName2)  // 通過(guò) pipe執(zhí)行拷貝，數(shù)據(jù)流轉(zhuǎn)  readStream.pipe(writeStream)  // 數(shù)據(jù)讀取完成監(jiān)聽，即拷貝完成  readStream.on('end', function () {      console.log('拷貝完成')  })

看了這段代碼，發(fā)現(xiàn)是不是拷貝好像很簡(jiǎn)單，創(chuàng)建一個(gè)可讀數(shù)據(jù)流readStream，一個(gè)可寫數(shù)據(jù)流writeStream,然后直接通過(guò)pipe管道把數(shù)據(jù)流轉(zhuǎn)過(guò)去。這種使用stream的拷貝相比存文件的讀寫實(shí)現(xiàn)拷貝，性能要增加很多，所以小伙伴們?cè)谟龅轿募僮鞯男枨蟮臅r(shí)候，盡量先評(píng)估一下是否需要使用stream實(shí)現(xiàn)。

前端一些打包工具的底層實(shí)現(xiàn)

目前一些比較火的前端打包構(gòu)建工具，都是通過(guò)node.js編寫的，打包和構(gòu)建的過(guò)程肯定是文件頻繁操作的過(guò)程，離不來(lái)stream,例如現(xiàn)在比較火的gulp,有興趣的小伙伴可以去看一下源碼。

stream的種類

•  Readable Stream 可讀數(shù)據(jù)流

•  Writeable Stream 可寫數(shù)據(jù)流

•  Duplex Stream 雙向數(shù)據(jù)流，可以同時(shí)讀和寫

•  Transform Stream 轉(zhuǎn)換數(shù)據(jù)流，可讀可寫，同時(shí)可以轉(zhuǎn)換（處理）數(shù)據(jù)(不常用)

之前的文章都是圍繞前兩種可讀數(shù)據(jù)流和可寫數(shù)據(jù)流，第四種流不太常用，需要的小伙伴網(wǎng)上搜索一下，接下來(lái)對(duì)第三種數(shù)據(jù)流Duplex Stream 說(shuō)明一下。

Duplex Stream 雙向的，既可讀，又可寫。Duplex streams同時(shí)實(shí)現(xiàn)了 Readable和Writable 接口。Duplex streams的例子包括

•  tcp sockets

•  zlib streams

•  crypto streams我在項(xiàng)目中還未使用過(guò)雙工流，一些Duplex Stream的內(nèi)容可以參考這篇文章NodeJS Stream 雙工流

stream有什么弊端

•  用 rs.pipe(ws) 的方式來(lái)寫文件并不是把 rs 的內(nèi)容 append 到 ws 后面，而是直接用 rs 的內(nèi)容覆蓋 ws 原有的內(nèi)容

•  已結(jié)束/關(guān)閉的流不能重復(fù)使用，必須重新創(chuàng)建數(shù)據(jù)流

•  pipe 方法返回的是目標(biāo)數(shù)據(jù)流，如 a.pipe(b) 返回的是 b，因此監(jiān)聽事件的時(shí)候請(qǐng)注意你監(jiān)聽的對(duì)象是否正確

•  如果你要監(jiān)聽多個(gè)數(shù)據(jù)流，同時(shí)你又使用了 pipe 方法來(lái)串聯(lián)數(shù)據(jù)流的話，你就要寫成：代碼實(shí)例： 

data         .on('end', function() {             console.log('data end');         })         .pipe(a)         .on('end', function() {             console.log('a end');         })        .pipe(b)         .on('end', function() {             console.log('b end');         });

stream的常見(jiàn)類庫(kù)

•  event-stream 用起來(lái)有函數(shù)式編程的感覺(jué)

•  awesome-nodejs#streams也是一個(gè)不錯(cuò)的第三方stream庫(kù)，有興趣的小伙伴可以github看一下

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對(duì)創(chuàng)新互聯(lián)的支持。