Amazon Web Service: использовать данные не в формате csv и получить обученную модель

Question

Я подумываю об использовании AWS с AMI для машинного обучения для обучения некоторым глубоким сетям, которые должны замедляться для установки моего оборудования.

Однако в настоящий момент я вижу две возможные серьезные проблемы, которые могут сделать этот вариант менее интересным или даже невозможным.

Тренировочные данные представлены не в формате CSV, а изображения в формате NIFTI. В описании AWS указано, что данные должны быть в формате.csv.

Кроме того, в FAQ говорится, что обученные модели не могут быть извлечены. Что означает, что все последующие выводы и тестирование должны выполняться в зависимости от экземпляров в AWS?

Обе эти проблемы реальны?

Answer 1

Да, я предполагаю, что вы можете использовать только формат csv для данных обучения: http://docs.aws.amazon.com/machine-learning/latest/dg/step-1-download-edit-and-upload-data.html AWS Источники данных для машинного обучения и, наконец, данные из других продуктов обычно можно экспортировать в файлы CSV в Amazon S3, что делает их доступными для машинного обучения Amazon

Кажется, что CSV является единственным форматом до сих пор, я нашел это немного расстраивает себя...

И да, как часто задаваемые вопросы по машинному обучению указывают:

Вопрос: Могу ли я экспортировать свои модели из машинного обучения Amazon?

A: Нет.

Итак, пока нет способа сохранить вашу модель... Вы, вероятно, можете создать экземпляр C5.large (оптимизированный для вычислений) и установить все библиотеки Python, необходимые для ваших проектов машинного обучения. Затем используйте функцию scikit-learn для сохранения вашей модели. Если C5.large недостаточно, вы можете легко увеличить его, просто используйте хранилище EBS для этого экземпляра.

Я надеюсь, что эта проверка помогает