Node.js文件编码格式的转换的方法

前端之家收集整理的这篇文章主要介绍了Node.js文件编码格式的转换的方法前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

项目很多 lua 文件不是 utf-8格式,使用 EditPlus 查看的时候,显示为ASCII。还有的是带BOM的,带BOM倒好处理,之前写过,有一定规律。

ASCII编码就比较蛋疼,通过搜索网上资源,反复测试对比,最终形成下面比较靠谱的方法(有一些 EditPlus显示编码为utf-8但node.js库返回的却是其它编码>_<)

判断修改是否无误,只需要在修改完之后,通过SVN提交,浏览提交列表,双击任意一项待提交文件,如果显示下图所示的对话框,则说明修改成功,其它都会看到中文反而变成乱码了

var path = "lua目录";

function readDirectory(dirPath) {
if (fs.existsSync(dirPath)) {
var files = fs.readdirSync(dirPath);

files.forEach(function (file) {
  var filePath = dirPath + "/" + file;
  var stats = fs.statSync(filePath);

  if (stats.isDirectory()) {
    // console.log('/n读取目录:\n',filePath,"\n");
    readDirectory(filePath);
  } else if (stats.isFile() && /\.lua$/.test(filePath)) {
    var buff = fs.readFileSync(filePath);
    if (buff.length && buff[0].toString(16).toLowerCase() == "ef" && buff[1].toString(16).toLowerCase() == "bb" && buff[2].toString(16).toLowerCase() == "bf") {
      //EF BB BF 239 187 191
      console.log('\n发现BOM文件:',"\n");

      buff = buff.slice(3);
      fs.writeFile(filePath,buff.toString(),"utf8");
    }

    // { encoding: 'UTF-8',confidence: 0.99 }
    // var charset = chardet.detectFileSync(filePath);
    var info = jschardet.detect(buff);

    if (info.encoding == "GB2312" || info.encoding == "ascii") {
      var resultBuffer = encoding.convert(buff,"UTF-8",info.encoding);
      fs.writeFile(filePath,resultBuffer,"utf8");
    }
    else if (info.encoding != "UTF-8" && chardet.detectFileSync(filePath) != "UTF-8")
    {
      if (buff.toString().indexOf("\r\n") > -1)
      {
        var resultBuffer = encoding.convert(buff,"GBK");
        fs.writeFile(filePath,"utf8");
      }
    }
  }
});

} else {
console.log('Not Found Path : ',dirPath);
}
}

readDirectory(path);

注意上面的判断,第一个明确是 GB2312或者ascii时,直接将相应的编码转为 utf-8。而如果返回是格式,先判断是否有PC下的换行符,如果有则全部将它视为GBK进行处理。

整个思路其实是比较简单,难点在于如果判断文件编码格式。这个真的很难>_<,获取原编码格式后,调用 encoding.convert(buff,目标编码格式,原始编码格式 ); 便可得到所需要的编码。如果有空而且有兴趣,可以下载Notepad++的源码,看它是如何判断文件的编码格式

注:上面的方法修改文件,跟 Mac 上需要提交的文件列表是一致的,至少能解决我目前遇到的问题。如果有特殊的,可对上面的代码进行修正。

用到的第三方库:

encoding jschardet node-chardet

编码相关的基础知识,可以参考这篇文章:

维基百科和其它资料太过专业化了,而且对 ASCII 编码的介绍不多,不再一一列举出来了

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持编程之家。

原文链接:https://www.f2er.com/nodejs/32601.html

猜你在找的Node.js相关文章