Encog Java большие учебные данные
Я играю с Encog Java для построения регрессионной модели на очень большом обучающем наборе данных.
Набор данных, который я буду иметь на своем производстве, близок к 70 миллионам записей в день. Я понимаю, что Encog хорошо использует многоядерные системы (из документации, а также из нескольких тестов, которые я провел). Хотел понять, что если я хочу тренировать свою модель каждый день новыми данными. Предположим, я получаю День 1 -> 70M, День 2 -> 70M и так далее. Могу ли я обновить существующую модель, чтобы просто загрузить данные текущего дня? Я имею в виду обновление, а не замена.
Кроме того, я понимаю, что модель может быть построена только на одной машине (не распределенная обработка, как SPARK ML и т. Д.). Это правильно?
Любопытно узнать, как его используют люди в отрасли, чтобы увидеть свои мысли о том, как они справляются с подобным случаем.