Как скопировать обученное преобразование FindMatch ML в AWS Glue из среды UAT в среду PROD в AWS
Недавно я использовал преобразование FindMatch ML в AWS, чтобы найти повторяющиеся записи в заданном наборе данных. Чтобы создать преобразование ml, мне пришлось перейти в AWS Glue и создать его. Чтобы использовать преобразование, мне пришлось обучить его вручную, создав файл метки и используя его для обучения преобразования. И чтобы использовать преобразование, я создал задание AWS Glue поверх преобразования. У меня есть требование, чтобы завтра, когда мне нужно было перенести это обученное ML-преобразование из одной среды в другую, например из UAT в PROD, как мне к этому подойти. Дело в том, что когда я тренирую преобразование ml, определенно, это будет сохранять обученную информацию где-нибудь в AWS, например, в S3-местоположении или в памяти. Если бы я мог найти то место, где можно было хранить тренинги, я мог бы скопировать эти данные в новую среду AWS,создайте новое преобразование ml и присоедините скопированные данные к преобразованию ml. Таким образом, это могло бы спасти меня от повторной работы по переобучению ml transform в среде PROD.
У меня есть один способ сохранить файлы меток, которые я использовал для обучения преобразованию в UAT, использовать те же файлы меток для обучения преобразованию ml в PROD AWS. Пожалуйста, дайте мне знать, есть ли другой способ сделать это, на самом деле любопытно узнать, смогу ли я найти местоположение обученных данных преобразования ml, скопировать их в новую среду и присоединить к новому преобразованию ml в PROD AWS.
1 ответ
Я смог найти решение, мы должны использовать только файлы меток, дело в том, что мы можем экспортировать файлы меток из преобразования в UAT и использовать экспортированный файл меток для обучения преобразованию в продукте.