CUDA отлично работает с одним графическим процессором, но не работает с другим [закрыто]
Я обучаю две модели с помощью fairseq на двух разных графических процессорах, есть одна модель с большим количеством данных, обученная на графическом процессоре 6, и модель с меньшим количеством данных, обученная на графическом процессоре 7. Я использовал одну и ту же команду для обоих:
fairseq-train fs_dest --source-lang de --target-lang en --arch transformer --share-all-embeddings --encoder-layers 5 --decoder-layers 5 --encoder-embed-dim 512 --decoder-embed-dim 512 --encoder-ffn-embed-dim 2048 --decoder-ffn-embed-dim 2048 --encoder-attention-heads 2 --decoder-attention-heads 2 --encoder-normalize-before --decoder-normalize-before --dropout 0.4 --attention-dropout 0.2 --relu-dropout 0.2 --weight-decay 0.0001 --label-smoothing 0.2 --criterion label_smoothed_cross_entropy --optimizer adam --adam-betas '(0.9, 0.98)' --clip-norm 0 --lr-scheduler inverse_sqrt --warmup-updates 4000 --warmup-init-lr 1e-7 --lr 1e-3 --stop-min-lr 1e-9 --max-tokens 1024 --update-freq 4 --max-epoch 100 --save-interval 10 --patience 4 --ddp-backend=no_c10d
Единственная разница в том, что я поменял
Графический процессор 6 работает нормально, и модель уже обучается, но когда я запускаю ту же команду, но для графического процессора 7, я получаю следующую ошибку:
return t.to(device, dtype if t.is_floating_point() or t.is_complex() else None, non_blocking)
RuntimeError: CUDA error: out of memory
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
Есть ли для этого причина?