Вычисление дисперсии на лету, Возможно ли Опции

[hobgoblin]

Подскажите, пожалуйста, существует ли в природе алгоритм, который позволял бы вычислять, пусть даже грубо, дисперсию не по завершению накопления выборки, а в процессе накопления. Есть устройство на ПЛИС, которое вычисляет помимо прочего среднее значение разности фаз в двух каналах внутри импульса переменной длины (от 16 до 2^14 отсчетов). Теперь просят добавить туда вычисление дисперсии, но так чтобы значительных задержек с выдачей результата не было.

[vladv]

Интересно, а насколько несмещенная такая оценка дисперсии?
Вот, например, для накопленных n выборок несмещенной оценкой дисперсии будет:
D = sum((X[n]-m)^2) / (n-1)
а не, что кажется естественным:
D = sum((X[n]-m)^2) / n

[SIA]

Интересно, а насколько несмещенная такая оценка дисперсии?
Вот, например, для накопленных n выборок несмещенной оценкой дисперсии будет:
D = sum((X[n]-m)^2) / (n-1)
а не, что кажется естественным:
D = sum((X[n]-m)^2) / n

Не вопрос, просто вводится поправочный множитель n/(n-1)

[vladv]

Не вопрос, просто вводится поправочный множитель n/(n-1)

Не, вопрос в том, смещена эта оценка или не смещена (я имею ввиду формулы, которые NickNich в посте #10 привел).

Это асимтотически несмещенная оценка, т.е. при вычислении диспрерсии по конечной выборке результат имеет смещение, которое стремится к нулю при учеличении длины выборки. При больших длинах разницы между множителями 1/N и 1/(N-1) практически нет...

Ну так и "D = sum((X[n]-m)^2) / n" "асимптотически несмещенная"... А как насчет смещения (или несмещения) для конкретного N?

Выражение, которое привет TSerg, фактически, вычисляет оценки дисперсии по нескольким первым отсчетам, примерно по первым 20-ти. Обратите внимание, что множитель перед обновлением оценки дисперсии (квадрате разности) убывает обратно пропорционально номеру отсчета. Т.е. при каких-то значениях теущего номера обновления просто перестанут обновлять получившуюся оценку, в силу малости их весового коэффициента. Можно даже ввести эффективную длину входного потока, по которой вычисляется оценка лисперсии, сохранять это количество в буфер, а потом считать дисперсию по обычной формуле - так честнее получится

...

А я - нет. Я присал про убывание обновляющей поправки к дисперсии, т.е. вот об этой формуле

D[i]=((j-1)/j)*D[i-1] + (1/j)*(X[i] - m[i])^2

К выражению для мат.ожидания у меня вопросов нет.

Если внимательно проследить "судьбу" первого "отсчета" (X[k] - m[k])^2, то для i-й оценки дисперсии он войдет с коффициентом 1/j - как и для последнего отсчета (X[k] - m[k])^2. Это верно вообще для всех отсчетов. I.e. в D[i] ВСЕ отсчеты (X[k]-m[k])^2 войдут с коэффициентом 1/j.

Впрочем, даже в формуле D[i]=D[i-1] + (1/i)*(X[i] - m[i])^2 нельзя пренебрегать последними отсчетами, поскольку ряд 1/i расходится.

Сообщение отредактировал vladv - Jan 25 2008, 23:25