Должен ли я использовать LSF или внедрить свои собственные планировщики работы?
Мы проводим некоторые вычисления / вычисления в нашей компании. Проще говоря, у нас есть задание или задача, включающая чтение огромного файла с более чем миллиардом записей, анализ файлов и некоторую очистку и запись очищенных данных в другой файл. У нас есть сотни таких рабочих мест, которые постоянно создаются, представляются, запускаются. Каждое задание имеет дело с собственными файлами, поэтому нам не нужно беспокоиться о проблемах параллелизма.
Чтобы добиться этого, мы создали собственную систему планирования (комбинация или MainFrame и Java). Наша текущая пропускная способность составляет около 40 миллионов записей в час.
В нашем стремлении улучшить это (и обеспечить большую отказоустойчивость) мы оцениваем LSF IBM, чтобы помочь нам с этим планированием и созданием рабочих мест.
Кто-нибудь из вас чувствует, что использование LSF может быть чрезмерным убийством для этой проблемы? Я могу подумать о том, чтобы добиться того же, используя реализацию актерской модели в AKKA и написав свой собственный Job Scheduler.
Какие-нибудь мысли?
1 ответ
Мой комментарий слишком длинный, поэтому я делаю его ответом, хотя на самом деле он не отвечает на ваш вопрос (пока нет).
Существует компромисс между внедрением новой технологии и развертыванием вашего собственного решения. Вам нужно делать перекрестные ссылки между записями в разных файлах или в одном файле? Если нет, и вы обрабатываете файлы построчно, существует миллион способов написания сценариев без использования какой-либо инфраструктуры. Внедрение в Akka (или любую другую инфраструктуру для этого) может затянуть некоторые инфраструктурные требования, которые могут быть более дорогими, чем написание реальной услуги.
TLDR: да, вы можете использовать Akka для этого (так же как и многие другие подходы), но слишком много неизвестных, чтобы решить, является ли это "лучшим" решением (цитаты, потому что на данный момент нет определения "лучшего"),