Точность проверки снижается, когда количество рабочих увеличивается в федеративном обучении с набором данных, не относящимся к IID.

Question

Я использую набор данных распознавания человеческой активности (HAR) с 6 классами с использованием федеративного обучения (FL). В этом случае я реализую набор данных не-IID, назначая (1) каждый набор данных класса разным 6 рабочим, (2) два класса 3 различным рабочим и (3) три класса 2 различным рабочим.

Когда я запускаю процесс FL, точность проверки для сценария (3)> (2)> (1). Я ожидаю, что все сценарии получат почти одинаковую точность проверки. Для каждого сценария я использую одни и те же настройки гиперпараметров, включая размер пакета, буфер перемешивания и конфигурацию модели.

Часто ли это встречается в FL с набором данных, отличным от IID, или есть какие-то проблемы с моим результатом?

Answer 1

Сценарий, в котором у каждого рабочего только одна (и все) одна метка может считаться «патологически плохой» не-IID для федеративного усреднения.

В этом сценарии вполне возможно, что каждый работник научится предсказывать только имеющуюся у него метку. Модель не требует различения каких-либо функций: если работник имеет только класс 1, он может предсказать класс 1 и получить 100% точность. Каждый раунд, когда все обновления модели усредняются, глобальное значение возвращается к модели, которая только предсказывает каждый класс с вероятностью 1/6.

Чем ближе распределение примеров каждого воркера к глобальному распределению (или друг другу, т. Е. Чем больше IID наборов клиентских данных), тем ближе его локальное обучение приведет к обновлению глобальной модели в том же направлении, что и усредненное обновление. , что приводит к лучшим результатам тренировок.