Странное поведение Cuda вне памяти

Я использую Titan RTX емкостью 24 ГБ, и я использую его для сегментации изображений Unet с Pytorch,

он всегда выбрасывает Cuda из памяти при разных размерах пакетов, плюс у меня больше свободной памяти, чем указано, что мне нужно, и, уменьшая размеры пакетов, он УВЕЛИЧИВАЕТ память, которую он пытается выделить, что не имеет никакого смысла.

вот что я пробовал:

Размер изображения = 448, размер пакета = 8

  • «RuntimeError: ошибка CUDA: недостаточно памяти»

Размер изображения = 448, размер пакета = 6

  • «RuntimeError: CUDA не хватает памяти. Попытка выделить 3,12 ГиБ (GPU 0; 24,00 ГиБ общая емкость; 2,06 ГиБ уже выделено; 19,66 ГиБ свободно; 2,31 ГиБ зарезервировано всего PyTorch)»

говорит, что он пытался выделить 3,12 ГБ, и у меня свободно 19 ГБ, и это выдает ошибку ??

Размер изображения = 224, размер пакета = 8

  • «RuntimeError: CUDA не хватает памяти. Попытка выделить 28,00 МиБ (GPU 0; 24,00 ГиБ общая емкость; 2,78 ГиБ уже выделено; 19,15 ГиБ свободно; 2,82 ГиБ зарезервировано в общей сложности PyTorch)»

Размер изображения = 224, размер пакета = 6

  • «RuntimeError: CUDA не хватает памяти. Попытка выделить 344,00 МиБ (GPU 0; 24,00 ГиБ общей емкости; 2,30 ГиБ уже выделено; 19,38 ГиБ свободно; 2,59 ГиБ зарезервировано всего PyTorch)»

уменьшил размер пакета, но попытался выделить больше ???

Размер изображения = 224, размер пакета = 4

  • «RuntimeError: CUDA не хватает памяти. Попытка выделить 482,00 МиБ (GPU 0; 24,00 ГиБ общей емкости; 2,21 ГиБ уже выделено; 19,48 ГиБ свободно; 2,50 ГиБ зарезервировано всего PyTorch)»

Размер изображения = 224, размер пакета = 2

  • «RuntimeError: CUDA не хватает памяти. Пытался выделить 1,12 ГиБ (GPU 0; 24,00 ГиБ общая емкость; 1,44 ГиБ уже выделено; 19,88 ГиБ свободно; 2,10 ГиБ зарезервировано всего PyTorch)»

Размер изображения = 224, размер пакета = 1

  • «RuntimeError: CUDA не хватает памяти. Пытался выделить 1,91 ГиБ (GPU 0; 24,00 ГиБ общая емкость; 894,36 МиБ уже выделено; 20,94 ГиБ свободно; 1,03 ГиБ зарезервировано всего PyTorch)»

Даже с тупо маленькими размерами изображений и размерами пакетов ...

Источник

1 ответ

РЕШЕНО - Проблема зависела от количества рабочих, их спустили, проблема решена

Источник
Другие вопросы по тегам