Как кластеризовать несколько HTTP-клиентов?
У меня есть сценарий использования, который включает извлечение / потоковую передачу данных с многочисленных конечных точек HTTP, более 100.
У меня есть отдельное Java-приложение, которое может обрабатывать до 30+ клиентских запросов, используя http-библиотеку Ning Async Client, но искал несколько идей о том, как я могу увеличить это, чтобы обрабатывать гораздо больше.
Вариант использования - извлечь данные из конечных точек и поместить их в очередь kafka (аналогичную очереди jms) для обработки топологией шторма. В чем я застрял, так это в первую очередь, как лучше всего получить данные о конечной точке http в очереди Kafka.
Спасибо