小编典典

node.js:将文本文件读入数组。(每一行都是数组中的一个项目。)

all

我想将一个非常非常大的文件读入 node.js 中的 JavaScript 数组。

所以,如果文件是这样的:

first line
two 
three
...
...

我会有数组:

['first line','two','three', ... , ... ]

该函数如下所示:

var array = load(filename);

因此,将其全部加载为字符串然后拆分的想法是不可接受的。


阅读 120

收藏
2022-06-25

共1个答案

小编典典

如果您可以将最终数据放入数组中,那么您是否也可以将其放入字符串中并按照建议进行拆分?在任何情况下,如果您想一次处理一行文件,您也可以尝试以下操作:

var fs = require('fs');

function readLines(input, func) {
  var remaining = '';

  input.on('data', function(data) {
    remaining += data;
    var index = remaining.indexOf('\n');
    while (index > -1) {
      var line = remaining.substring(0, index);
      remaining = remaining.substring(index + 1);
      func(line);
      index = remaining.indexOf('\n');
    }
  });

  input.on('end', function() {
    if (remaining.length > 0) {
      func(remaining);
    }
  });
}

function func(data) {
  console.log('Line: ' + data);
}

var input = fs.createReadStream('lines.txt');
readLines(input, func);

编辑:( 回应 phopkins 的评论)我认为(至少在较新的版本中)子字符串不会复制数据,而是创建一个特殊的 SlicedString
对象(快速浏览 v8 源代码)。无论如何,这里有一个修改,它避免了提到的子字符串(在一个价值几兆字节的文件上测试“All work and no play
makes Jack a dull boy”):

function readLines(input, func) {
  var remaining = '';

  input.on('data', function(data) {
    remaining += data;
    var index = remaining.indexOf('\n');
    var last  = 0;
    while (index > -1) {
      var line = remaining.substring(last, index);
      last = index + 1;
      func(line);
      index = remaining.indexOf('\n', last);
    }

    remaining = remaining.substring(last);
  });

  input.on('end', function() {
    if (remaining.length > 0) {
      func(remaining);
    }
  });
}
2022-06-25