Как установить конкретный GPU в Bert?

Question

Как установить конкретный GPU в Bert?

ResourceExhaustedError (см. Выше для отслеживания):

OOM при выделении тензора формы [768] и типа float [[node bert/encoder/layer_0/ вниманию / выводу /LayerNorm/beta/adam_m/Initializer/zeros (определено в /home/zyl/souhu/bert/optimization.py:122) = Const_class=["loc:@bert/encoder/layer_0/ вниманию / выводу /LayerNorm/beta/adam_m/Assign"], dtype=DT_FLOAT, value=Tensor, _device="/job:localhost/replica:0/ задача: 0 / устройство: ГПУ:0"]]

Как установить gpu 1 или другой для запуска bert?

0

tensorflow nlp bert-language-model

Источник

user11409446 25 апр '19 в 08:34

1 ответ

Другие вопросы по тегам tensorflow nlp bert-language-model

user5652313 25 апр '19 в 11:31 2019-04-25 11:31 · Answer 1 · 2019-04-25 11:31

Самый простой способ установить, какие графические процессоры будут использоваться - это настройка CUDA_VISIBLE_DEVICES переменная окружения. Все равно будет GPU:0 TensorFlow, отличается физически другим устройством.

Если вы используете BERT в Python (что довольно болезненно), вы можете использовать код, который создает граф BERT в блоке:

with tf.device('/device:GPU:1'):
   model = modeling.BertModel(...)