NodeJS / ECONNRESET приводит к ошибке при получении удаленного CSV-файла
Это мой первый вопрос здесь. Я сделаю все возможное. Прежде всего, я начну с моих пакетов, которые я использую для решения задачи.
Node v8.10.0
NPM-Packages for this Task
requestretry(copy of request, with customizable retry attempts on errors)
Link: https://www.npmjs.com/package/requestretry
csv-parser
https://www.npmjs.com/package/csv-parser
Я пытаюсь читать 16 CSV-файлов, шаг за шагом, асинхронно и проходить по строкам, строка за строкой. Проверьте, находится ли "идентификатор" строки в коллекции mongoDB, и обработайте конкретную ситуацию.
Я тестирую этот сценарий с файлом размером ~75 МБ.
Действительный код для тестирования:
const request = require("requestretry");
const csv = require("csv-parser");
async function csvProcessing(csvFile) {
let results = [];
return new Promise((resolve, reject) => {
let counter = 0;
const csvReq = request({url: csvFile,maxAttempts: 5}, {encoding: "utf8"},
function(error,res,body) {if (error) console.log("Request error", error); });
try {
csvReq.pipe(csv())
.on("data", res => {
console.log(counter, res);
counter++;
})
.on("error", err => console.log("Error geworfen", err))
.on("end", () => {
console.log("End reached, Promise gets resolved, run func for nextFile");
resolve(results);
});
} catch (err) {
console.log(err);
}
});
}
Случайно то, что каждый раз, когда я запускаю эту функцию csvProcessing(urlToCSVFile) и записываю строки, строка за строкой в мою консоль, она останавливается на номере строки: ~ 139544 и продолжается через ~ 15 секунд и снова останавливается на номере строки: ~ 235466 и больше ничего не делает.
У меня есть 2 ситуации с этой обработкой: 1. Выполнение кода останавливается, я больше не получаю сообщений console.log и никаких ошибок, и ничего не продолжается 2. Я получаю сообщение об ошибке:
"Error: read ECONNRESET at TCP.onStreamRead"
Unhandled Stream Error: in pipe()
Я просматривал каждую ошибку NodeJS EconnReset, которую мог найти здесь, но все, что я видел, была проблема в обработке csvFiles из локальных путей, поэтому я мог использовать createReadstream,createWriteStream, но это не то, что мне нужно, или я думаю, что мне это не нужно.
Мои вопросы: - есть ли у кого-нибудь подобный опыт с запросом npm? - Я новичок в узле, я что-то пропускаю? - это, вероятно, основное соединение TCP, которое приводит к этой ошибке? - некоторые идеи, подсказки для решения?
Хотелось бы получить ваши отзывы и учиться у вас, ребята
С уважением