Описание тега optuna

Описание тега Вопросы с тегом
Optuna - это среда оптимизации гиперпараметров для Python (версии 2.7 и 3.*), которая помогает находить лучшие параметры для моделей машинного обучения, проверяя различные комбинации значений параметров. Сайт: https://optuna.org
0 ответов

Отрицательные размеры не допускаются (Smoteenn)

Я использую данные дисбаланса (2 классификация положительная: отрицательная = 9:1) поэтому я пытаюсь использовать SMOTEENN и optuna (optuna: чтобы найти соответствующее значение sampling_strategy) но я получил эту ошибку: Setting trial status as Tri…
29 янв '19 в 08:47
1 ответ

Как настроить условную целевую функцию с помощью optuna или hyperopt

Я пытался использовать оптуну для настройки гиперпараметров. Но моя целевая функция условна, что создает проблемы при получении оптимальных параметров. я хочу получить cwc, только если условие выполнено, иначе продолжите испытание для следующих гипе…
29 июл '19 в 06:39
1 ответ

Как соответствовать скорости обучения с обрезкой?

Фоном для вопроса является оптимизация гиперпараметров обучения нейронной сети путем запуска study.optimize() с включенным по умолчанию сокращением и скоростью обучения в качестве параметра для оптимизации (этот вопрос можно обобщить для других гипе…
11 авг '19 в 09:48
0 ответов

Настройка гиперпараметров с помощью optuna

Я рассмотрел уравнение и пытаюсь оценить его минимумы. Условие состоит в том, чтобы получить этот минимум в 80 из 100 испытаний. И я получаю эти минимумы только в 13-м испытании и не получаю никаких дальнейших испытаний. Я попытался настроить гиперп…
21 окт '19 в 07:45
2 ответа

Как сделать выборку параметров без дубликатов в optuna?

Я использую optuna для оптимизации параметров моих пользовательских моделей. Есть ли способ отбирать параметры до тех пор, пока текущий набор параметров не был протестирован раньше? Я имею в виду, попробуйте выбрать другие параметры, если в прошлом …
12 ноя '19 в 17:22
1 ответ

Могу ли я оптимизировать дистрибутивно несколько моделей одновременно?

Я понимаю, что могу выполнять распределенную оптимизацию с помощью Optuna. Однако я не знаю, смогу ли я сделать это с несколькими моделями одновременно? Например: optuna create-study --study-name "distributed-example1" --storage "sqlite:///example.d…
07 ноя '19 в 13:50
2 ответа

Является ли недостатком то, что примеры Optuna возвращают оценочную метрику набора тестов?

Я использую Optuna для оптимизации параметров некоторых моделей. Почти во всех примерах целевая функция возвращает метрику оценки в наборе ТЕСТ и пытается минимизировать / максимизировать ее. Мне кажется, что это недостаток в примерах, поскольку Opt…
31 янв '20 в 13:45
0 ответов

Эффективное использование структуры оптимизации гиперпараметров без переобучения - проблемы регуляризации

Я использую XGBOOST с RandomGridSearchCV и GridSearchCV с приличным успехом. Мои обучающие данные состоят из примерно 100 тыс. Строк, 58 столбцов, половина из которых являются категориальными табличными данными, и я выдвинул 20 тыс. Строк для тестов…
23 мар '20 в 14:37
2 ответа

Вложить один конкретный набор параметров в выбранную партию

Я пытаюсь протестировать другой набор параметров в алгоритме машинного обучения с помощью Optuna. Автоматическая выборка Optuna очень полезна, но есть ли способ принудительно включить один конкретный набор параметров в предлагаемый пакет, определенн…
27 май '20 в 15:24
1 ответ

странное поведение roc_auc_score, 'roc_auc', 'auc'

При оптимизации параметров для xgboost я столкнулся с проблемой с метрикой roc_auc_score. Я получаю значительно разные результаты во время перекрестной проверки по сравнению с результатами на данных обучения. class OptunaHyperparamsSearch: def __ini…
04 июн '20 в 13:38
1 ответ

OptKeras (Keras Optuna Wrapper) - использовать optkeras внутри моего собственного класса AttributeError: объект типа 'FrozenTrial' не имеет атрибута '_field_types'

Я написал простой код Keras, в котором я использую CNN для набора данных fashion mnist. Все отлично работает. Я реализовал свой собственный класс, и классификация в порядке. Однако я хотел использовать Optuna в качестве OptKeras (оболочка Optuna для…
30 июн '20 в 14:28
1 ответ

Как я могу выполнить перекрестную проверку Pytorch и Optuna

Я хочу использовать перекрестную проверку по официальному образцу кода на основе Optuna и pytorch ( https://github.com/optuna/optuna/blob/master/examples/pytorch_simple.py). Я думал о разделении данных для перекрестной проверки и попытке настройки п…
03 авг '20 в 09:00
0 ответов

'monotone_constraints' показывает предупреждение о том, что он не используется в PythonAPI XGB

При попытке использовать параметр monotone_constraint для xgb, некоторые испытания показывают предупреждение для фрагмента кода ниже def objective(trial): param = {"objective": "reg:squarederror", "monotone_constraints"…
04 сен '20 в 08:56
3 ответа

Есть ли способ передать аргументы нескольким заданиям в optuna?

Я пытаюсь использовать optuna для поиска пространств гиперпараметров. В одном конкретном сценарии я обучаю модель на машине с несколькими графическими процессорами. Модель и размер пакета позволяют мне проводить 1 тренировку на 1 GPU. Итак, в идеале…
13 май '20 в 01:39
3 ответа

Python: как извлечь лучшую модель из исследования Optuna LightGBM?

Я хотел бы получить лучшую модель для использования позже в ноутбуке для прогнозирования с использованием другой партии тестов. воспроизводимый пример (взято из Optuna Github): import lightgbm as lgb import numpy as np import sklearn.datasets import…
02 июн '20 в 07:35
2 ответа

Получение SIGKILL при запуске оптимизации исследования с помощью Optuna на PyCharm

Я пытаюсь провести исследование, используя функцию оптимизации с семплером по умолчанию и средним секатором. при каждом запуске происходит сбой, иногда после одной успешной попытки, иногда без завершения. Сообщение о сбое: Процесс завершен с кодом в…
29 июл '20 в 17:32
1 ответ

Учитывает ли TPE (от Optuna) количество испытаний?

Я использую пробоотборник TPE от optuna для оптимизации гиперпараметров для моделей машинного зрения Deep Learning. Мне было интересно, адаптирует ли optuna поиск в зависимости от количества испытаний. Если я тренируюсь на 1000 попыток и останавлива…
06 авг '20 в 14:09
1 ответ

Как исправить ошибку "объект '_BaseUniformDistribution' не имеет атрибута 'to_internal_repr'" - странное поведение в optuna

Я пытаюсь использовать optuna lib в Python для оптимизации параметров моделей рекомендательных систем. Эти модели являются настраиваемыми и выглядят как стандартные модели sk learn с прогнозированием соответствия (с методами get/set params). Что я д…
01 окт '19 в 13:44
0 ответов

Получение TypeError при попытке сохранить Optuna.Study в обратном вызове optimize

Я провожу исследование Optuna, и когда я пытаюсь сохранить его с помощью joblib.dump, Я получаю следующее: TypeError: невозможно обработать объект _io.TextIOWrapper Я также пытаюсь pickle.dump(study, open('name.pkl', 'wb')), но я получаю то же самое…
30 июл '20 в 17:18
1 ответ

Укажите фиксированные параметры и параметры для поиска в optuna (lightgbm)

Я только что нашел Optuna, и кажется, что они интегрированы с lightGBM, но мне сложно понять, где я могу исправить параметры, например scoring="auc" и где я могу определить сетку для поиска, например num_leaves=[1,2,5,10]. Используя https:…
09 ноя '20 в 12:29