Как UTF-8 кодировать.pkl в Sagemaker?
Я использую библиотеки fast.ai v1 в Sagemaker и нахожу, что ошибки learn.export() с примечанием:
Первый вопрос - где в консоли я буду искать более подробную информацию? Я проверил журналы CloudWatch для этого ноутбука и ничего не вижу, и я не вижу очевидной ссылки в веб-интерфейсе Sagemaker.
Второй вопрос - как мне UTF-8 кодировать этот объект learn.export()? Я пошел в репозиторий fast.ai git и нашел код, который, по моему мнению, является ответственным:
"Export the state of the `Learner` in `self.path/fname`."
args = ['opt_func', 'loss_func', 'metrics', 'true_wd', 'bn_wd', 'wd', 'train_bn', 'model_dir', 'callback_fns']
state = {a:getattr(self,a) for a in args}
state['cb_state'] = {cb.__class__:cb.get_state() for cb in self.callbacks}
#layer_groups -> need to find a way
#TO SEE: do we save model structure and weights separately?
device = one_param(self.model).device
state['model'] = self.model.cpu() #This is done inplace so we need to put the model back where it was after the save.
xtra = dict(normalize=self.data.norm.keywords) if getattr(self.data, 'norm', False) else {}
state['data'] = self.data.valid_ds.get_state(**xtra)
state['cls'] = self.__class__
torch.save(state, open(self.path/fname, 'wb'))
self.model.to(device)```
And the higher-level doc is here: https://docs.fast.ai/tutorial.inference.html
Appreciate your help.