Конфигурирование Theano так, чтобы оно не зависало напрямую при сбое выделения памяти графическим процессором
Когда сценарий Theano пытается получить больше памяти GPU, чем доступно в данный момент, он сразу падает:
Error allocating 26,214,400 bytes of device memory (out of memory).
Driver report 19,365,888 bytes free and 1,073,414,144 bytes total
Есть ли способ настроить Theano так, чтобы он не падал напрямую при сбое выделения памяти для GPU? Например, он может вместо этого повторять каждые X секунд и сдаваться после попытки Y.
(Один вариант использования: у меня есть несколько сценариев Theano, работающих на одном GPU и использующих 90% его памяти только 5% времени)