Многопроцессорная многопроцессорная система с тензорным потоком, windows

Question

Я немного новичок в тензорном потоке.. поэтому, пожалуйста, будьте осторожны со мной.. У меня проблема с созданием второго процесса, который загружает тензорный поток на уже работающем графическом процессоре.

я получаю ошибку:

\cuda\cuda_dnn.cc:385] could not create cudnn handle: CUDNN_STATUS_NOT_INITIALIZED
\cuda\cuda_dnn.cc:392] error retrieving driver version: Permission denied: could not open driver version path for reading: /proc/driver/nvidia/version
\cuda\cuda_dnn.cc:352] could not destroy cudnn handle: CUDNN_STATUS_BAD_PARAM
\kernels\conv_ops.cc:532] Check failed: stream->parent()->GetConvolveAlgorithms(&algorithms)
\cuda\cuda_dnn.cc:385] could not create cudnn handle: CUDNN_STATUS_NOT_INITIALIZED

Детали оборудования:

super micro -  4028GR-TRT
8 GPU's 1080 
CUDA: 8 
cudnn: 5.1 
windows: 10 
tensorflow: 0.12.1 / 1.0.1  

Мой компьютер не должен быть проблемой

windows 7
gpu 1070
cuda 8
cudnn 5.1 
tensorflow 0.12.1

Может кто-нибудь сказать мне, почему на моем ПК все в порядке, но не на большом (supermicro)?

это проблемы с windows / драйвером может быть?

Я пытаюсь обновить драйвер NVIDIA.. не помогает в этом..

Answer 1

TensorFlow не всегда хорош в совместном использовании графических процессоров с другими процессами (включая другие экземпляры самого себя!). Типичный обходной путь заключается в использовании %CUDA_VISIBLE_DEVICES% переменная окружения, чтобы предотвратить конфликт двух процессов на одном и том же графическом процессоре. Например:

C:\>set CUDA_VISIBLE_DEVICES=0
C:\>python tensorflow_program_1.py

В другой командной строке вы можете указать TensorFlow использовать другой графический процессор следующим образом:

C:\>set CUDA_VISIBLE_DEVICES=1
C:\>python tensorflow_program_2.py