Есть ли способ ограничить потребление памяти Tensorflow Federated?
Сейчас я запускаю симуляцию Tensorflow Federated с размером модели ~ 2 ГБ. Я бегу на
train набор из 300 пользователей,
val 100 пользователей и
test100 пользователей. Максимально в тренировочном раунде участвуют около 50 пользователей.
Потребление памяти при такой настройке огромно. У меня есть сервер с оперативной памятью 300 ГБ, но программа останавливается (слишком много памяти) после достижения ~100-го цикла обучения.
Как я могу ограничить потребление памяти Tensorflow Federated, чтобы я мог тренироваться до 1000 раунда?