深入理解Node中的buffer模块

Node.js 前端之家
前端之家收集整理的这篇文章主要介绍了深入理解Node中的buffer模块，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。

在Node、ES2015出现之前，前端工程师只需要进行一些简单的字符串或DOM操作就可以满足业务需要，所以对二进制数据是比较陌生。node出现以后，前端面对的技术场景发生了变化，可以深入到网络传输、文件操作、图片处理等领域，而这些操作都与二进制数据紧密相关。

Node里面的buffer，是一个二进制数据容器，数据结构类似与数组，数组里面的方法在buffer都存在(slice操作的结果不一样)。下面就从源码(v6.0版本)层面分析，揭开buffer操作的面纱。

1. buffer的基本使用

在Node 6.0以前，直接使用new Buffer，但是这种方式存在两个问题:

  1. 参数复杂: 内存分配，还是内存分配+内容写入，需要根据参数来确定
  2. 安全隐患: 分配到的内存可能还存储着旧数据，这样就存在安全隐患
// 不小心，旧数据就被读取出来了 buf1.toString() // '�\tpk�\u0000\u0000P:'

为了解决上述问题，Buffer提供了Buffer.from、Buffer.alloc、Buffer.allocUnsafe、Buffer.allocUnsafeSlow四个方法来申请内存。

// 默认情况下，用0进行填充 buf2.toString() //'\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000'

// 上述操作就相当于
const buf1 = new Buffer(10);
buf.fill(0);
buf.toString(); // '\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000'

2. buffer的结构

buffer是一个典型的javascript与c++结合的模块，其性能部分用c++实现，非性能部分用javascript来实现。

下面看看buffer模块的内部结构:

buffer模块提供了4个接口:

  1. Buffer: 二进制数据容器类，node启动时默认加载
  2. SlowBuffer: 同样也是二进制数据容器类，不过直接进行内存申请
  3. INSPECT_MAX_BYTES: 限制bufObject.inspect()输出的长度
  4. kMaxLength: 一次性内存分配的上限，大小为(2^31 - 1)

其中，由于Buffer经常使用，所以node在启动的时候，就已经加载了Buffer，而其他三个，仍然需要使用require('buffer').***。

关于buffer的内存申请、填充、修改等涉及性能问题的操作，均通过c++里面的node_buffer.cc来实现:

3. 内存分配的策略

Node中Buffer内存分配太过常见，从系统性能考虑出发，Buffer采用了如下的管理策略。

3.1 Buffer.from

Buffer.from(value,...)用于申请内存，并将内容写入刚刚申请的内存中，value值是多样的，Buffer是如何处理的呢？让我们一起看看源码:

if (value instanceof ArrayBuffer)
return fromArrayBuffer(value,length);

if (typeof value === 'string')
return fromString(value,encodingOrOffset);

return fromObject(value);
};

value可以分成三类:

  1. ArrayBuffer的实例: ArrayBuffer是ES2015里面引入的，用于在浏览器端直接操作二进制数据，这样Node就与ES2015关联起来，同时，新创建的Buffer与ArrayBuffer内存是共享的
  2. string: 该方法实现了将字符串转变为Buffer
  3. Buffer/TypeArray/Array: 会进行值的copy

3.1.1 ArrayBuffer的实例

Node v6与时俱进，将浏览器、node中对二进制数据的操作关联起来，同时二者会进行内存的共享。

v1[0] = 12 console.log('second,v1) // second,typeArray: Uint8Array [ 12,0 ] console.log('second,buf) // second,Buffer:

在上述操作中，对ArrayBuffer的操作，引起Buffer值的修改，说明二者在内存上是同享的，再从源码层面了解下这个过程:

>>= 0;

if (typeof length === 'undefined')
return binding.createFromArrayBuffer(obj,byteOffset);

length >>>= 0;
return binding.createFromArrayBuffer(obj,length);
}
// c++ 模块中的node_buffer:
void CreateFromArrayBuffer(const FunctionCallbackInfo& args) {
...
Local ab = args[0].As();
...
Local ui = Uint8Array::New(ab,offset,max_length);
...
args.GetReturnValue().Set(ui);
}

3.1.2 string

可以实现字符串与Buffer之间的转换，同时考虑到操作的性能，采用了一些优化策略避免频繁进行内存分配:

= (Buffer.poolSize >>> 1)) return binding.createFromString(string,encoding); // 当字符所需字节数小于4KB: 借助allocPool先申请、后分配的策略 if (length > (poolSize - poolOffset)) createPool(); var actual = allocPool.write(string,poolOffset,encoding); var b = allocPool.slice(poolOffset,poolOffset + actual); poolOffset += actual; alignPool(); return b; }

a. 直接内存分配

当字符串所需要的字节大于4KB时，如何还从8KB的buffer pool中进行申请，那么就可能存在内存浪费，例如:

poolSize - poolOffset < 4KB: 这样就要重新申请一个8KB的pool，刚才那个pool剩余空间就会被浪费掉

看看c++是如何进行内存分配的:

& args) { ... Local buf; if (New(args.GetIsolate(),args[0].As(),enc).ToLocal(&buf)) args.GetReturnValue().Set(buf); }

b. 借助于pool管理

用一个pool来管理频繁的行为，在计算机中是非常常见的行为，例如http模块中，关于tcp连接的建立，就设置了一个tcp pool。

(poolSize - poolOffset)) createPool(); // 在buffer pool中进行分配 var actual = allocPool.write(string,encoding); // 得到一个内存的视图view,特殊说明: slice不进行copy，仅仅创建view var b = allocPool.slice(poolOffset,poolOffset + actual); poolOffset += actual; // 校验poolOffset是8的整数倍 alignPool(); return b; }

// pool的申请
function createPool() {
poolSize = Buffer.poolSize;
allocPool = createBuffer(poolSize,true);
poolOffset = 0;
}
// node加载的时候，就会创建第一个buffer pool
createPool();
// 校验poolOffset是8的整数倍
function alignPool() {
// Ensure aligned slices
if (poolOffset & 0x7) {
poolOffset |= 0x7;
poolOffset++;
}
}

3.1.3 Buffer/TypeArray/Array

可用从一个现有的Buffer、TypeArray或Array中创建Buffer，内存不会共享，仅仅进行值的copy。

console.log(buf2); // buf1[0] = 16 console.log(buf1); // console.log(buf2); //

上述示例就证明了buf1、buf2没有进行内存的共享，仅仅是值的copy，再从源码层面进行分析:

throw new TypeError(kFromErrorMsg);
}
// 数组或类数组，逐个进行值的copy
function fromArrayLike(obj) {
const length = obj.length;
const b = allocate(length);
for (var i = 0; i < length; i++)
b[i] = obj[i] & 255;
return b;
}

3.2 Buffer.alloc

Buffer.alloc用于内存的分配，同时会对内存的旧数据进行覆盖，避免安全隐患的产生。

上述代码有几个需要注意的点:

3.2.1 先申请后填充

alloc先通过createBuffer申请一块内存，然后再进行填充，保证申请的内存全部用fill进行填充。

3.2.2 flags标示

flags用于标识默认的填充值是否为0，该值在javascript中设置，在c++中进行读取。

& args) { ... Local bObj = args[1].As(); ... bObj->Set(String::NewFromUtf8(env->isolate(),"flags"),Uint32Array::New(array_buffer,fields_count)); }

3.2.3 Uint8Array

Uint8Array是ES2015 TypeArray中的一种，可以在浏览器中创建二进制数据，这样就把浏览器、Node连接起来。

3.3 Buffer.allocUnSafe

Buffer.allocUnSafe与Buffer.alloc的区别在于，前者是从采用allocate的策略，尝试从buffer pool中申请内存，而buffer pool是不会进行默认值填充的，所以这种行为是不安全的。

3.4 Buffer.allocUnsafeSlow

Buffer.allocUnsafeSlow有两个大特点: 直接通过c++进行内存分配；不会进行旧值填充。

4. 结语

字符串与Buffer之间存在较大的差距，同时二者又存在编码关系。通过Node，前端工程师已经深入到网络操作、文件操作等领域，对二进制数据的操作就显得非常重要，因此理解Buffer的诸多细节十分必要。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持编程之家。

bufferbufferbuffer模块Node

猜你在找的Node.js相关文章

[javascript] typescript的安装
现在的js代码都是这种高级点的方式语法 ， 就是ts语法 ，要使用ts语法那就要先安装一下 先...
node版本管理工具nvm
nvm是node版本管理工具 为了解决node各种版本存在不兼容现象 nvm是让你在同一台机器上安装...
node起一个简单服务，打开本地项目或文件浏览
1、安装nodejs 2、在项目文件夹目录下创建一个js文件，命名server.js(自定义名称),内容如下...
path的join和resolve的使用区别
1.连接路径：path.join([path1][, path2][, ...]) path.join()方法可以连接任意多个路径字...
nodejs与javascript中的aes加密
简介 1.aes加密简单来说，在密码学中又称Rijndael加密法，是美国联邦政府采用的一种区块加...
带你玩转七牛云存储——高级篇
七牛云图片存储优点 1. 支持各种尺寸的图片缩放； 2. 支持图片自动压缩； 3. 支持水印添加...
VueJs生产环境部署
VueJs为客户端语言，所以部署的时候是不需要基于nodejs或其他服务器运行环境，只需要像其他...
vuejs深入浅出—基础篇
一、从HelloWorld说起 任何语言的都是从Hello World开始的，VueJs也不例外，直接上代码： ...
你必须知道的session与cookie
Session本质 提到Session我们能联想到的就是用户登录功能，而本身我们使用Session的基础是...
es6新特性分享
1、字符串查找es5使用是indexOf() 返回字符第一次出现的位置int值es6新增了3个方法：inclu...
HTMLHTML5JavaScriptCSSjQueryBootstrapAngularjsTypeScriptVueDojoJsonElectronNode.jsextjsExpress XMLES6AjaxFlashUnityReactFlexAnt DesignWeb前端微信小程序微信公众号
关闭广告单独headers封装代码提示错误整数正则非0开头跳页出页码antd table提示URL未注册公众号支付vue hash模式iSlider车牌键盘循环图片echarts 双折左右布局DllPlugin对象创建打字游戏圈选两栏云函数蒙版ES2020橱窗无缝滚动轮播色块碰撞组件销毁文档操作