Статистика для гистограммы периодических данных

Question

Для ряда значений угла в диапазоне (-pi, pi) я делаю гистограмму. Существует ли эффективный способ расчета среднего и модального (пост вероятного) значения? Рассмотрим следующие примеры:

import numpy as N, cmath
deg = N.pi/180.
d = N.array([-175., 170, 175, 179, -179])*deg
i = N.sum(N.exp(1j*d))
ave = cmath.phase(i)
i /= float(d.size)
stdev = -2. * N.log(N.sqrt(i.real**2 + i.imag**2))

print ave/deg, stdev/deg

Теперь давайте представим гистограмму:

counts, bins = N.histogram(data, N.linspace(-N.pi, N.pi, 360))

Можно ли рассчитать среднее значение, режим с подсчетами и ячейками? Для непериодических данных вычисление среднего значения является простым:

ave = sum(counts*bins[:-1])

Расчеты модального значения требуют больше усилий. На самом деле, я не уверен, что мой код ниже верен: во-первых, я определяю бины, которые встречаются чаще всего, а затем вычисляю среднее арифметическое:

cmax = bins[N.argmax(counts)]
mode = N.mean(N.take(bins, N.nonzero(counts == cmax)[0]))

Я не знаю, как рассчитать стандартное отклонение от таких данных, хотя. Одним из очевидных решений всех моих проблем (по крайней мере, описанных выше) является преобразование данных гистограммы в ряд данных, а затем использование их в расчетах. Это не элегантно и неэффективно.

Любые советы будут очень благодарны.

---

Это частичное решение, которое я написал.

import numpy as N, cmath
import scipy.stats as ST

d = [-175, 170.2, 175.57, 179, -179, 170.2, 175.57, 170.2]
deg = N.pi/180.
data = N.array(d)*deg

i = N.sum(N.exp(1j*data))
ave = cmath.phase(i)  # correct and exact mean for periodic data
wrong_ave = N.mean(d)

i /= float(data.size)
stdev = -2. * N.log(N.sqrt(i.real**2 + i.imag**2))
wrong_stdev = N.std(d)

bins = N.linspace(-N.pi, N.pi, 360)
counts, bins = N.histogram(data, bins, normed=False)
# consider it weighted vector addition
nz = N.nonzero(counts)[0]
weight = counts[nz]
i = N.sum(weight * N.exp(1j*bins[nz])/len(nz))
pave = cmath.phase(i)  # correct and approximated mean for periodic data
i /= sum(weight)/float(len(nz))
pstdev = -2. * N.log(N.sqrt(i.real**2 + i.imag**2))
print
print 'scipy: %12.3f (mean) %12.3f (stdev)' % (ST.circmean(data)/deg, \
                                               ST.circstd(data)/deg)

При запуске он дает следующие результаты:

 mean:      175.840       85.843      175.360
stdev:        0.472      151.785        0.430

scipy:      175.840 (mean)        3.673 (stdev)

Несколько комментариев сейчас: в первом столбце дается среднее значение / вычислено. Как видно, среднее хорошо согласуется с scipy.stats.circmean (спасибо ДжоКингтону за указание на это). К сожалению, stdev отличается. Я посмотрю на это позже. Второй столбец дает совершенно неверные результаты (непериодическое среднее / стандартное отклонение от numpy здесь явно не работает). 3-й столбец содержит данные, которые я хотел получить из данных гистограммы (@JoeKington: мои необработанные данные не помещаются в память моего компьютера.., @dmytro: спасибо за ваш вклад: конечно, размер бина будет влиять на результат, но в моем приложение у меня не так много выбора, т.е. я должен как-то уменьшить данные). Как видно, среднее значение (3-й столбец) рассчитано правильно, stdev требует дальнейшего внимания:)

Answer 1

Посмотри на scipy.stats.circmean а также scipy.stats.circstd,

Или у вас есть только количество гистограмм, а не "сырые" данные? Если это так, вы можете подогнать распределение фон Мизеса к количеству гистограмм и таким образом приблизить среднее значение и стандартное отклонение.

Answer 2

Вот как можно получить приближение.

поскольку Var(x) = <x^2> - <x>^2, у нас есть:

meanX = N.sum(counts * bins[:-1]) / N.sum(counts)
meanX2 = N.sum(counts * bins[:-1]**2) / N.sum(counts)
std = N.sqrt(meanX2 - meanX**2)