Сроки теста на лазурном мл
Я создал наборы данных разных размеров, скажем, 1 ГБ, 2 ГБ, 3 ГБ, 4 ГБ (< 10 ГБ) и выполняю различные модели машинного обучения в Azure ML.
1) Могу ли я узнать, какие технические характеристики сервера (ОЗУ, ЦП) предоставляются в службе Azure ML.
2) Также время от времени читатель говорит "исчерпание памяти" для>4 ГБ данных. При этом лазурная мл должна быть в состоянии обработать 10 ГБ данных в соответствии с документацией.
3) Если я запускаю несколько экспериментов (на разных вкладках браузера) параллельно, это займет больше времени.
4) Есть ли способ настроить оперативную память, ядра процессора в Azure ML
1 ответ
У меня есть частичный ответ: 1. нет, это абстрагировано
Следующие типы данных могут расширяться в большие наборы данных во время нормализации функций, и их размер не должен превышать 10 ГБ:
Разреженные категориальные строки Двоичные данные
(см. это)
Я не уверен, но работая над этим, я не испытал никаких изменений при запуске одного эксперимента и нескольких экспериментов
Вы можете масштабировать машины на стандартном уровне (см. это)
Я бы порекомендовал взглянуть на новый "Визуальный интерфейс" для службы Azure ML, который позволяет значительно превысить ограничение в 10 гигабайт и создать собственные вычислительные кластеры.
// Видео объявления BUILD 2019:https://www.youtube.com/watch?v=QBPCaZo9xx0