Поддерживает ли Tensorflow Федеративное обучение в области подкрепления?

Question

Я пытаюсь обучить модели глубокого обучения в федеративном сценарии обучения. Поддерживает ли Tensorflow Federated (TFF) обучение с подкреплением (RL) как модель ML? Я понимаю, что федеративное обучение в основном обсуждается для обучения под наблюдением, и мне было любопытно, можно ли использовать обучение с подкреплением в TFF.

Если да, то какую библиотеку вы бы порекомендовали использовать RL в TFF?

Answer 1

Короткий ответ - да, TFF может поддерживать обучение с подкреплением на уровне Federated Core API; обратите внимание, что RL в настоящее время не реализован в tff.learning (хотя мы приветствовали бы такой вклад). С точки зрения машинного обучения, вы можете рассматривать TFF как коммуникационный уровень поверх TF, и все, что TF поддерживает TFF, может поддерживать.

Я постараюсь остановиться на нескольких ключевых особенностях длинного ответа:

Во-первых, федеративное обучение с подкреплением - это вопрос открытых исследований. Учитывая сложность обучения моделей RL в целом, сообщество FL, я думаю, было бы радо видеть, как агенты, обученные в федеративной среде, воспроизводят даже классические результаты RL, и мы были бы очень рады увидеть, как такая вещь реализована в TFF.

Во-вторых, TFF в целом поддерживает любой процесс итеративного обучения на основе TensorFlow, в частности обучение на основе градиента. Можно представить множество возможных способов моделирования RL в федеративных условиях; TFF поддерживает передачу любого вида обновлений, так что небо - это предел с точки зрения того, что может поддерживать экземпляр федеративного TL RL.

Наконец, я думаю, что, пожалуй, лучше всего начать с реализации RL в TFF - просто реализовать RL в vanilla TensorFlow модульным способом. Любое взаимодействие, которое должно происходить в выбранной вами федеративной модели RL, должно быть записано между TensorFlow, в TFF. Если вы реализуете, например, вашего актера и вашего критика модульно с помощью tf.function, то реализовать коммуникацию, которая вам нужна, внутри относительно легко. @tff.federated_computation декоратор. Для получения советов по смешиванию кода TF и ​​TFF см. Этот пост ведущего автора TFF.