Настройка гиперпараметров для нескольких выходов с использованием mxnet в R
В настоящее время я пытаюсь построить MLP с несколькими выходами.
Для MLP с одним выходом я обычно использую реализацию пакета H2o, в которой реализована хорошая функция поиска по случайной сетке. Поскольку H2o не поддерживает несколько выходов, я переключился на пакет mxnet.
Сейчас я пытаюсь найти способ настроить мои параметры для моего MLP. Я не могу найти никакого пакета внутри R, который обеспечивает настройку параметров для нескольких выходов и позволяет мне использовать mxnet.
Знаете ли вы какие-либо пакеты или у вас есть встроенные функции для поиска гиперпараметров? Спасибо!
Изменить в случае комментария:
С несколькими выходами я имею в виду несколько переменных ответа (проблема MIMO). Например, одна из моих исследуемых задач - прогнозирование распределения RRSB. Распределение RRSB имеет два параметра: n,x. Я надеюсь, что это прояснит ваш вопрос
2 ответа
Вы рассматриваете Карет? Я думаю, что он мог бы сделать это, поскольку он обеспечивает настройку обоих гиперпараметров https://topepo.github.io/caret/model-training-and-tuning.html и поддерживает некоторые модели mxnet, но не уверен, является ли MLP с несколькими выходами поддерживается.
Лично я использую метод сетки или случайного поиска, просто выбирая необходимые параметры из списка возможных значений, связанных с каждым. Он включает циклический выбор различных гиперпараметров и ведение журнала производительности каждой конфигурации.
В этом руководстве объясняется, как вы можете построить многослойный персептрон с использованием MXNet, в данном конкретном случае, который имеет слой Softmax в качестве конечного слоя, чтобы классифицировать входные данные как один из 10 различных классов (проблема MNIST).
В вашем случае я считаю, что вам нужен MLP с конечным полностью подключенным слоем из 2 блоков, по одному для каждой переменной, которую вы пытаетесь предсказать. Посмотрите здесь пример линейной регрессии. Ваша функция потерь должна быть адаптирована к вашей конкретной проблеме.