频道导航

javascript – 如何在Node.js中读取非常大的(> 1GB)tar.gz文件？

2019-06-05 JavaScript 前端之家

前端之家收集整理的这篇文章主要介绍了javascript – 如何在Node.js中读取非常大的(> 1GB)tar.gz文件？，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。

我从来没有这样做,所以这可能是一个真正的基础,但我以为我会问.

在Node.js中读取一个非常大的文件的正确方法是什么？说文件太大,无法一次读取.也可以说这个文件可以是.zip或.tar.gz格式.

第一个问题是,最好先解压缩文件并将其保存到磁盘(我现在在Mac上使用Stuffit来执行),然后使用该文件？或者你可以直接从压缩的.zip或.tar.gz版本中读取IO流？我想你需要知道压缩文件中内容的格式,所以你可能需要解压缩(只是发现这个.tar.gz文件实际上是一个.dat文件)…

那么主要的问题是,如何在Node.js中读取这个大文件？说这是一个1GB的XML 文件,我应该在哪里开始解析它？ (不,如何解析XML,但是如果你逐行阅读大文件,那么你如何解析像需要知道前一行的上下文的XML).

我已经看到了fs.createReadStream,但我害怕混乱,不想爆炸我的电脑.只要找正确方向的指针.

解决方法

内置的 zlib模块用于流解压缩,sax用于流XML解析

var fs = require('fs');
var zlib = require('zlib');
var sax = require('sax');

var saxStream = sax.createStream();
// add your xml handlers here

fs.createReadStream('large.xml.gz').pipe(zlib.createUnzip()).pipe(saxStream);

上一篇：在JavaScript中正则表达式来删除链下一篇：javascript – 在slick转盘中添加自

猜你在找的JavaScript相关文章

Javascript中的事件冒泡与捕获

事件冒泡和事件捕获起因：今天在封装一个bind函数的时候，发现el.addEventListener函数支...

作者：前端之家时间：2021-02-22

搞懂js中小数运算精度问题原因及解决办法

js小数运算会出现精度问题 js number类型 JS 数字类型只有number类型，number类型相当于其...

作者：前端之家时间：2021-02-22

搞懂：前端跨域问题JS解决跨域问题VUE代理解决跨域问题原理

什么是跨域跨域：广义的跨域包含一下内容： 1.资源跳转（链接跳转，重定向跳转，表单提...

作者：前端之家时间：2021-02-22

前端对base64编码的理解，原生js实现字符base64编码

@ "TOC" 常见对base64的认知(不完全正确) 首先对base64常见的认知，也是...

作者：前端之家时间：2021-02-22

搞懂：MVVM模型以及VUE中的数据绑定数据劫持发布订阅模式

搞懂：MVVM模式和Vue中的MVVM模式 MVVM MVVM ：的缩写，说都能直接说出来：模型，：视图...

作者：前端之家时间：2021-02-22

js判断浏览器是否支持webGL

起因是我之前开发的网页，用到了three.js制作了一个3d的旋转球体效果。在各种浏览器上运行...

作者：前端之家时间：2021-02-14

js判断undefined和null

js判断undefined js判断null js判断null和undefined

作者：前端之家时间：2021-02-14

将文字自动转为banner打印形式的工具

http://patorjk.com/software/taag/

作者：前端之家时间：2021-02-14

聊一聊 bootstrap 的轮播图插件

今天做工作的时候，轻车熟路的做完，又用到了bootstrap的轮播图，觉得有必要安利一下这个插...

作者：前端之家时间：2021-02-14

js实现图片无缝循环跑马灯

html 代码 css js代码 function mylsRunHorseLight() { if (mylsTimer != null) { clearIn...

作者：前端之家时间：2021-02-14

最新文章