Правильные параметры для обучения AWS Sagemaker с несколькими классами на изображение

Question

Я последовательно обнаружил, что с "multi_label" до "1" для заданий классификации изображений они вылетали со следующей ошибкой:

Algorithm Error: Internal Server Error
[15:56:08] /opt/brazil-pkg-cache/packages/MXNetECL/MXNetECL-master.657.0/AL2012/generic-flavor/src/src/operator/custom/custom.cc:418: Check failed: reinterpret_cast<CustomOpFBFunc>(params.info->callbacks[kCustomOpBackward])( ptrs.size(), const_cast<void**>(ptrs.data()), const_cast<int*>(tags.data()), reinterpret_cast<const int*>(req.data()), static_cast<int>(ctx.is_train), params.info->contexts[kC
15:56:08 Stack trace returned 7 entries:
15:56:08 [bt] (0) /opt/amazon/lib/libaialgsdataiter.so(dmlc::StackTrace()+0x3d) [0x7f85e19f179d]
15:56:08 [bt] (1) /opt/amazon/lib/libaialgsdataiter.so(dmlc::LogMessageFatal::~LogMessageFatal()+0x1a) [0x7f85e19f1a3a] 
15:56:08 [bt] (2) /opt/amazon/lib/libmxnet.so(+0x26da8fd) [0x7f85d0edb8fd]
15:56:08 [bt] (3) /opt/amazon/lib/libmxnet.so(std::thread::_Impl<std::_Bind_simple<mxnet::op::custom::CustomOperator::CustomOperator()::{lambda()#1} ()> >::_M_run()+0x12f) [0x7f85d0ede0ef]
15:56:08 [bt] (4) /opt/amazon/lib/libstdc++.so.6(+0xce440) [0x7f85cc9ea440]
15:56:08 [bt] (5) /lib64/libpthread.so.0(+0x7dc5) [0x7f85e31e1dc5]
15:56:08 [bt] (6) /lib64/libc.so.6(clone+0x6d) [0x7f85e25de6ed]
15:56:08 Algorithm Error: Internal Server Error

Исходя из моего понимания документации, этот параметр должен позволить вам назначить несколько тегов для каждого изображения - есть ли хитрость, чтобы заставить его работать, или для отладки этих следов стека? ( https://docs.aws.amazon.com/sagemaker/latest/dg/IC-Hyperparameter.html)

Answer 1

О, это ужасно... Не могли бы вы поделиться кодом, который позволил бы нам воспроизвести ошибку? Полные журналы тоже были бы полезны. Рад поднять билет поддержки от вашего имени.

Жюльен (АМС)

Answer 2

Можете ли вы проверить файл записи, который вы используете для обучения? Пожалуйста, следуйте этому примеру, чтобы узнать, как подготовить набор данных для обучения с несколькими метками.