mongoimport v3.2.4 зависает случайным образом при импорте json с --jsonArray

Question

У меня есть файл JSON с массивом документов ~120K. Я импортирую файл JSON в коллекцию Монго

mongoimport --db my-db --collection my_collection -j 4 file.json --jsonArray --batchSize 5 -v

Это остановилось случайно и никогда не закончилось. Я пытался запустить с -v, но не смог увидеть ни одного полезного журнала.

Answer 1

Проблема была решена после обновления Монго до последней версии 3.2.11

Answer 2

Я также столкнулся с проблемой для myfile, который был около 1,5 ГБ. Я должен был решить это, используя оба batchsize а также numInsertionWorkers,

mongoimport --db cam --collection cost --type json 
            --file /data/db/cost1/cost500000.json --jsonArray 
            --numInsertionWorkers 500 --batchSize 1;

Answer 3

Можете ли вы попробовать уменьшить размер партии до 1 --batchSize 1

mongoimport --db my-db --collection my_collection -j 4 --file file.json --jsonArray --batchSize 1

Вы также можете попробовать увеличить -j параметр для 8 если у вас есть так много логических ядер.