前言
在我们学过fs模块后,可以知道读取文件时采用readFile()方法,那么如果文件太大,读取需要很长时间且内存空间有限时要怎么办呢,下面我们来学习一下Node.js中stream的知识。 数据读写可以看作是事件模式(Event)的特例,不断发送的数据块好比一个个的事件。读数据是read事件,写数据是write事件,而数据块是事件附带的信息。Node 为这类情况提供了一个特殊接口stream。一、Node处理缓存的方式
“数据流”(stream)是处理系统缓存的一种方式。操作系统采用数据块(chunk)的方式读取数据,每收到一次数据,就存入缓存。Node应用程序有两种缓存的处理方式:
第一种是等到所有数据接收完毕,一次性从缓存读取,这就是传统的读取文件的方式;这种方式先将数据全部读入内存,然后处理,优点是符合直觉,流程非常自然,缺点是如果遇到大文件,要花很长时间,才能进入数据处理的步骤。
第二种是采用“数据流”的方式,收到一块数据,就读取一块,即在数据还没有接收完成时,就开始处理它。这种方式每次只读入数据的一小块,像“流水”一样,每当系统读入了一小块数据,就会触发一个事件,发出“新数据块”的信号。应用程序只要监听这个事件,就能掌握数据读取的进展,做出相应处理,这样就提高了程序的性能。
二、什么是Node.js Stream(流)
我们可以想象一下文件像液体一样流动,在读取时,可以不间断的,将文件往内存里读取一部分,显示一部分,然后把读取的内容删除,继续读取-显示-删除的步骤,这样就会一直有空间来读取完毕比较大的文件。
Node.js中的官方解释为:流是用于在 Node.js 中处理流数据的抽象接口
。 stream 模块提供了用于实现流接口的 API
。
Node.js提供了许多流对象。流可以是可读的、可写的、或两者兼而有之。 所有的流都是 EventEmitter 的实例。
要访问 stream 模块:
const stream = require('stream');
stream 模块对于创建新类型的流实例很有用。 通常不需要使用 stream 模块来消费流。
三、stream(流)的类型
Readable
- 用于读操作。(例如,fs.createReadStream())
Writable
- 用于写操作。(例如,fs.createWriteStream())
Duplex
- 用于读取和写入操作。(例如,net.Socket)
Transform
- 输出基于输入的地方进行计算的一种双相流,即操作被写入数据,然后读出结果。(例如,zlib.createDeflate())
每种流都是事件触发器,当某个流被调用时,就会触发,抛出一个事件,常用的事件有:
data
事件:表示流中有数据可以读取时触发
end
事件:表示流中没有数据可以读取时触发
error
事件:读写数据错误时触发
finish
事件:数据刷新到底层系统时触发
四、创建可读流
let fs