Tensor2Tensor оценивает деталь, не загружающую модель
Я боролся с этой проблемой уже неделю или больше и попробовал несколько общих / поверхностных вещей, таких как:
- разные версии python, tensflow, tennors2tensor, различные местоположения каталогов и т. д., чтобы заставить его работать.
- нашел несколько вопросов, связанных с переполнением стека, но без ответа, который работает для меня.
Любая операция оценки (schedule= train_and_evaluate или schedule= непрерывная_train_and_evaluate) вызывает ошибку OP.
UnknownError (see above for traceback): models/t2t_train/text2text_tmpdir/transformer-transformer_base_single_gpu/model.ckpt-1001.data-00000-of-00002; Input/output error
[[Node: save/RestoreV2 = RestoreV2[dtypes=[DT_INT64], _device="/job:localhost/replica:0/task:0/device:CPU:0"](_arg_save/Const_0_0, save/RestoreV2/tensor_names, save/RestoreV2/shape_and_slices)]]
[[Node: save/RestoreV2_1/_115 = _Recv[client_terminated=false, recv_device="/job:localhost/replica:0/task:0/device:GPU:0", send_device="/job:localhost/replica:0/task:0/device:CPU:0", send_device_incarnation=1, tensor_name="edge_62_save/RestoreV2_1", tensor_type=DT_FLOAT, _device="/job:localhost/replica:0/task:0/device:GPU:0"]()]]
Полный журнал находится здесь: https://gist.github.com/repoloper/0981699d3be5127331a400a3b541eeb1
Сообщение об ошибке в основном говорит об ошибке ввода / вывода, но ничего не ясно о том, почему это происходит и как к этому подойти. Любая помощь будет оценена.