qloguniform проблема установки пространства поиска в Hyperopt

Question

Я работаю над использованием hyperopt для настройки моей модели ML, но у меня возникают проблемы с использованием qloguniform в качестве пространства поиска. Я привожу пример из официальной вики и изменил пространство поиска.

import pickle
import time
#utf8
import pandas as pd
import numpy as np
from hyperopt import fmin, tpe, hp, STATUS_OK, Trials

def objective(x):
    return {
        'loss': x ** 2,
        'status': STATUS_OK,
        # -- store other results like this
        'eval_time': time.time(),
        'other_stuff': {'type': None, 'value': [0, 1, 2]},
        # -- attachments are handled differently
        'attachments':
            {'time_module': pickle.dumps(time.time)}
        }
trials = Trials()
best = fmin(objective,
    space=hp.qloguniform('x', np.log(0.001), np.log(0.1), np.log(0.001)),
    algo=tpe.suggest,
    max_evals=100,
    trials=trials)
pd.DataFrame(trials.trials)

Но получаю следующую ошибку.

ValueError: ('отрицательный аргумент в lognormal_cdf', массив ([-3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.453877645, -3,453877645643), 375, 577, 537, 381, 577, 538, 381, 577, 537, 381, 577, 381, 577, 381, 577, -3, 577, -64, -3764, -64, -37, -64, -37, -64, -37, -64, -37, -37, -64, -37, -37, -64, -37, -37, -64, -37, -37, -64, -37, -3, -5, -37, -5, -37, -5, -37, -3, -5, -37, -537 3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764]))

Я попытался без преобразования журнала, как показано ниже, но выходные значения оказываются преобразованием журнала (например, 1.017,1.0008,1.02456), что неправильно. Это согласуется с документацией.

hp.qloguniform('x', 0.001,0.1, 0.001)

Спасибо

Answer 1

Проблема, кажется, в последнем аргументе hp.qloguniform, q и как tpe.suggest использует это.

1. Сначала давайте поговорим о q, Согласно документации:

   hp.qloguniform(метка, низкий, высокий, q)

   round(exp(uniform(low, high)) / q) * q 
   

   Подходит для дискретной переменной, в отношении которой цель является "гладкой" и становится более гладкой с размером значения, но которая должна быть ограничена как сверху, так и снизу.

   q вот "quantizer" что ограничит выходы из определенного пространства кратными q, Например, вот что происходит внутри qloguniform:

   from hyperopt import pyll, hp
   n_samples = 10
   
   space = hp.loguniform('x', np.log(0.001), np.log(0.1))
   evaluated = [pyll.stochastic.sample(space) for _ in range(n_samples)]
   # Output: [0.04645754, 0.0083128 , 0.04931957, 0.09468335, 0.00660693,
   #          0.00282584, 0.01877195, 0.02958924, 0.00568617, 0.00102252]
   
   q = 0.005
   qevaluated = np.round(np.array(evaluated)/q) * q
   # Output: [0.045, 0.01 , 0.05 , 0.095, 0.005, 0.005, 0.02 , 0.03 , 0.005, 0.])
   

   Сравните evaluated а также qevaluated Вот. qevaluated кратно q или мы говорим, что его квантовать в "интервалах" (или шагах) q, Вы можете попробовать изменить q Значение, чтобы узнать больше.

   q Вы определили в вопросе чрезвычайно большой по сравнению с генерируемым диапазоном выборки0.001 to 0.1):

   np.log(0.001)
   # Output: -6.907755278982137
   

   Таким образом, вывод всех значений здесь будет 0.

   q = np.log(0.001)
   qevaluated = np.round(np.array(evaluated)/q) * q
   # Output: [0., 0., 0., 0., 0., 0., 0., 0., 0., 0.]
   

2. Сейчас подходит к tpe.suggest(Раздел 4 этой статьи): TPE использует дерево различных оценщиков для оптимизации процесса поиска, во время которого оно делит пространство поиска в зависимости от генератора пространства (в данном случае qloguniform). Смотрите код здесь для деталей. Для разделения пространства на несколько частей он будет использовать q,

   Но так как все точки в вашем пространстве будут 0.0 (как описано выше), это отрицательное q генерирует недопустимые границы для lognormal_cdf что не приемлемо и, следовательно, ошибка.

Короче говоря, ваше использование q не правильно. Как вы уже сказали в комментарии:

Также q значение не должно использоваться внутри логарифмической / логарифмической случайной выборки в соответствии с round(exp(uniform(low, high)) / q) * q

поэтому вы должны только указать значения q которые действительны для вашего необходимого пространства. Так что здесь, так как вы хотите генерировать значения между 0.001 а также 0.1, q значение должно быть сопоставимо с ними.

Я согласен, что вы поставляете np.log(0.001) а также np.log(0.1) внутри qloguniform но это так, что выходные значения находятся между 0,001 и 0,1. Так что не используйте np.log в q, q следует использовать согласно сгенерированным значениям.