Конвейер данных для системного журнала / сетевого анализа данных
У меня нет опыта машинного обучения на отраслевом уровне, поэтому я ищу ваших экспертов здесь!
Я работаю над задачей, в которой мне нужен конвейер данных для обнаружения аномалий в сетевых журналах или любых подобных данных. Я пытаюсь найти эффективный способ создания конвейера данных с использованием таких инструментов, как кластер Spark/Kafka, для решения этой проблемы. Что вы, ребята, предлагаете иметь в качестве конвейера данных, начиная с этапа импорта данных до развертывания модели для вывода? Пожалуйста, дайте мне знать, будут ли здесь работать другие инструменты. Я открыт для любого инструмента, который является экономически эффективным, поскольку существует конвейер, который может обрабатывать огромное количество журналов / данных.