Распределенное обучение по локальному графическому процессору и графическому процессору colab

Question

Я хочу настроить АЛЬБЕРТА.

Я вижу, что можно распределить обучение нейронной сети по нескольким графическим процессорам, используя тензорный поток: https://www.tensorflow.org/guide/distributed_training

Мне было интересно, можно ли распределить тонкую настройку как для графического процессора моего ноутбука, так и для графического процессора colab?

Answer 1

Я не думаю, что это возможно. Потому что для проведения распределенного обучения GPU вам нужны NVLinks между вашими GPU. У вас нет такой связи между графическим процессором вашего ноутбука и графическими процессорами Colab. Это хорошее чтение https://lambdalabs.com/blog/introduction-multi-gpu-multi-node-distributed-training-nccl-2-0/