Быстрое разбиение массива в Node.js

Question

Я работаю с разбиением массива на длинные наборы данных. Мне нужно создать новый массив кусков определенного размера. В настоящее время я использую это решение, но оно показывает плохую производительность.

function array_to_chunks(data, size){
   let chunks = []
   let d = data.slice()
   while (d.length >= size) chunks.push(d.splice(0, size))
   return chunks
}

Я хотел бы найти лучшую идею о том, как сделать это достаточно быстро и почему мой код не работает хорошо.

Answer 1

Это немного более производительно, потому что вам не нужно копировать массив:

const createGroupedArray = function (arr, chunkSize) {

    if (!Number.isInteger(chunkSize)) {
        throw 'Chunk size must be an integer.';
    }

    if (chunkSize < 1) {
        throw 'Chunk size must be greater than 0.';
    }

    const groups = [];
    let i = 0;
    while (i < arr.length) {
        groups.push(arr.slice(i, i += chunkSize));
    }
    return groups;
};

если вы делаете ввод / вывод, используйте потоки Node.js:

const strm = new Writable({
  write(chunk, enc, cb){
     // do whatever
  }
});

Answer 2

Мне интересно услышать ваше мнение об этом подходе:

const arr = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15]
const size = 5

const chunkIt = (arr, size) => {
  let buckets = []

  // Just create the buckets/chunks storage
  for (let i = 1; i <= Math.ceil(arr.length / size); i++) {
    buckets.push([])
  }

  // Put in the buckets/storage by index access only
  for (let i = 0; i < arr.length; i++) {
    var arrIndex = Math.ceil((i + 1) / size) - 1
    buckets[arrIndex].push(arr[i])
  }

  return buckets;
}

console.log(chunkIt(arr, size))

Я сделал несколько базовых тестов JS, и все прошло хорошо. Идея состоит в том, чтобы предварительно создать сегменты, так как эта операция не должна быть такой дорогой, а затем просто нажимать на индекс.

Answer 3

Вы можете использовать метод lodash chunk, он делает то, что вам нужно

const _ = require('lodash');
_.chunk([1,2,3,4,5,6],2);