Мониторинг работоспособности сайта - узкое место в сети
Я работаю над монитором работоспособности веб-сайта, который должен проверять тысячи веб-сайтов в минуту, выполняя простой http-вызов и проверяя полученный код состояния (если есть).
Приложение построено на node.js.
Максимальное количество сайтов, которые я могу проверить, составляет примерно 2000 в минуту. Это число не меняется, если я запускаю 1 экземпляр или 10 процессов кода.
Если я запускаю несколько процессов, пропускная способность каждого процесса уменьшается, так что общая производительность по-прежнему проверяется на 2000 сайтах в минуту.
Фактическая пропускная способность сети не кажется слишком высокой. Я имею в виду, что 2000 сайтов означают примерно 1 МБ данных (и это щедро). Так что это, вероятно, проблема где-то еще, и я пытаюсь определить это.
Проверено на цифровом океане.
Заранее спасибо.