Есть ли способ выделить оставшийся GPU для вашего кода на PyTorch?

Question

1. Есть ли способ выделить оставшуюся память в каждом графическом процессоре для вашей задачи?
2. Могу ли я разделить свою задачу между несколькими графическими процессорами?

nvidia-smi для справки

Answer 1

1. Да. PyTorch может использовать любую оставшуюся мощность графического процессора при наличии достаточного объема памяти. Вам нужно только указать, какие графические процессоры использовать: /questions/6658790/kak-vyibrat-graficheskij-protsessor-dlya-vyipolneniya-zadaniya/6658794#6658794
2. Да. Параллелизм GPU реализуется с помощью DistributedDataParallel PyTorch.