Какая математика стоит за параметром "сглаживания" в скалярных графах TensorBoard?

Question

Я предполагаю, что это какая-то скользящая средняя, ​​но допустимый диапазон составляет от 0 до 1.

Answer 1

Сглаживание объясняется здесь и применяется здесь. Это линейный фильтр.

Answer 2

Ответ @drpng указывает на правильное объяснение, но поскольку ссылки могут идти вниз, здесь используется Pythonic перевод кода для используемой функции сглаживания.

Предполагая, что все действительные скалярные значения находятся в списке scalars сглаживание применяется следующим образом:

def smooth(scalars, weight):  # Weight between 0 and 1
    last = scalars[0]  # First value in the plot (first timestep)
    smoothed = list()
    for point in scalars:
        smoothed_val = last * weight + (1 - weight) * point  # Calculate smoothed value
        smoothed.append(smoothed_val)                        # Save it
        last = smoothed_val                                  # Anchor the last smoothed value

    return smoothed

Answer 3

Вот фактический фрагмент исходного кода, который выполняет это экспоненциальное сглаживание с некоторым дополнительным смещением, описанным в комментариях, чтобы компенсировать выбор нулевого начального значения:

      last = last * smoothingWeight + (1 - smoothingWeight) * nextVal

Источник: https://github.com/tensorflow/tensorboard/blob/34877f15153e1a2087316b9952c931807a122aa7/tensorboard/components/vz_line_chart2/line-chart.ts#L714

Answer 4

Реализацию сглаживания EMA, используемую для TensorBoard, можно посмотреть здесь .

Эквивалент в Python на самом деле:

      def smooth(scalars: list[float], weight: float) -> list[float]:
    """
    EMA implementation according to
    https://github.com/tensorflow/tensorboard/blob/34877f15153e1a2087316b9952c931807a122aa7/tensorboard/components/vz_line_chart2/line-chart.ts#L699
    """
    last = 0
    smoothed = []
    num_acc = 0
    for next_val in scalars:
        last = last * weight + (1 - weight) * next_val
        num_acc += 1
        # de-bias
        debias_weight = 1
        if weight != 1:
            debias_weight = 1 - math.pow(weight, num_acc)
        smoothed_val = last / debias_weight
        smoothed.append(smoothed_val)

    return smoothed