Могу ли я агрегировать по градиентам в объединения с тензорным потоком?

Question

В настоящее время в federated_learn tenorsflow, похоже, включены только такие вещи, как federated_averaging, которые работают с обучаемыми переменными модели. Как бы я пошел о реализации алгоритмов, которые требуют градиентов для агрегации на сервере?

Спасибо

Answer 1

По состоянию на выпуск 0.2.0 TensorFlow Federated включает в себя реализацию FedSGD (tff.learning.build_federated_sgd_process()), как описано в статье:

Эффективное для общения изучение глубоких сетей на основе децентрализованных данных Х. Брендан МакМахан, Эйдер Мур, Дэниел Рэймидж, Сет Хэмпсон, Блез Агуера и Аркас. AISTATS 2017. https://arxiv.org/abs/1602.05629

Код можно найти в tensorflow_federated/python/learning/federated_sgd.py, который показывает агрегирование градиентов на клиенте и отправку агрегированного градиента на сервер.