Выделение постоянной составляющей на фоне шума, Как сделать? Опции

[R.A.K.]

Есть оцифрованный сигнал в виде постоянной составляющей с шумом и импульсными помехами (по оси х - время в секундах).

Точно известен интервал (+- 5*10^-6), в котором может находиться величина постоянной составляющей (этот интервал показан на рисунке).
Надо определить величину постоянной составляющей. За минимальное время с начала обработки величина постоянной составляющей должна быть определена с точностью около около +- 1*10^-8, при последующей обработке точность должна возрастать (чем больше - тем лучше).

С линейной фильтрацей пока у меня что-то плохо получается. В ЦОС я не силен, поэтому пробовал каскадное включение 10 БИХ-фильтров 1-го порядка (Yn + Yn*(K-1) = K*Xn при K=1/2^6) - слишом много времени уходит (где-то 1500-2000 с) и импульсы мешают.
Пробовал вырезать участки с импульсами и потом "сшитый" сигнал пропускать через ФНЧ, но что-то не очень помогает.
Медианный фильтр не пробовал, т.к. не знаю какого размера окна взять, а при очень большом окне он постоянку исказит (наверное).

Посоветуйте как это лучше (и правильней) сделать.

Сообщение отредактировал R.A.K. - Sep 24 2011, 16:13

[R.A.K.]

SPACUM, спасибо за совет, попробую.

Я делал бы так же, как написал GetSmart в последнем сообщении в той теме...

Это скользящее среднее. Пробовал в первую очередь. Результаты при приемлемом (т.е. 1024, например) размере окна очень плохие (а для меня больше 2000 уже совсем не приемлемо).
Кстати частный случай ДПФ в виде алгоритма Герцеля для n=0 именно в скользящее среднее и вырождается.

Ну, или то, что там обсуждалось вначале. Это называется экспоненциальный фильтр.

Это его экономисты и статисты так называют. Я же его обозвал БИХ-фильтр 1-го порядка (см. 1-ый пост) - он рекурсивный, значит БИХ.

P.S. Да! Забыл уточнить - частота дискретизации 1 Гц. Так что вариант скользящего среднего на 4096 - это больше часа. Надо где-то за 500-1000 отсчетов вычислить постоянку с приемлемой точностью (а вообще чем быстрее тем лучше). У меня только через 1500-2000 кое-как получается.

Оцените максимальную плотность выбросов. Если на 1 выброс гарантированно приходятся два нормальных отсчёта, будет достаточно медианы с окном 3.

Нет. Есть места где 2 выброса (1 вверх, 1 вниз) идут друг за другом . Окна на 3 мало.
К тому же моя картинка - это пока частный случай. Есть предположение, что в других ситуациях шум помощнее будет, а выбросы будут чаще...
Мы же говорим о применении медианного фильтра ко всем отсчетам, так? При большем размере окна медианный фильтр постоянку может испортить (вроде бы...)

[Tanya]

P.S. Да! Забыл уточнить - частота дискретизации 1 Гц. Так что вариант скользящего среднего на 4096 - это больше часа. Надо где-то за 500-1000 отсчетов вычислить постоянку с приемлемой точностью (а вообще чем быстрее тем лучше). У меня только через 1500-2000 кое-как получается.

Основной вопрос - что Вы называете "истинной величиной постоянной составляющей". Если мы ничего не знаем априорно о том, что нам дается в виде отсчетов, то, естественно, это будет математическое ожидание - среднее без весов в данном случае.
Если же Вы знаете, что есть наводки (помехи), то их нужно убрать, но для этого нужно знать, что это такое. Соответственно и методы могут быть разными. Мне кажется, что наиболее разумно в данном случае исследовать функцию распределения и выбрасывать отсчеты, которые... (тут можно придумать несколько способов) искажают ее - отклоняют от Гаусса или Пуассона... Если имеется априорная уверенность. Можно, наверное, даже отбрасывать, используя "узость" распределения как целевую функцию. Смотреть можно на производную от сигмы по ширине оставленного коридора.
Примерно такое уже предлагали выше - отбрасывать все, что не влезает в 3 сигмы. Но тут нужно считать вероятность... При большом числе отсчетов вероятность попадания шума в 3 сигмы уже ненулевая, но какой будет вклад от таких отсчетов в среднее...

[R.A.K.]

Основной вопрос - что Вы называете "истинной величиной постоянной составляющей". Если мы ничего не знаем априорно о том, что нам дается в виде отсчетов, то, естественно, это будет математическое ожидание - среднее без весов в данном случае.
Если же Вы знаете, что есть наводки (помехи), то их нужно убрать, но для этого нужно знать, что это такое. Соответственно и методы могут быть разными.

Суть задачи - имеется входной цифровой сигнал с частотой около 1 кГц, подверженный фазовой модуляции шумом. Частота исходного сигнала известна с точностью +- 5ppm. Необходимо восстановить исходную частоту сигнала. Начинать можно где-то с +-0,5 ppm.
Имеющиеся отсчеты - это выраженный в виде числа тактов опорного генератора (около 100 МГц) интервал между 1000 входными "зашумленными" импульсами.
Шум, модулирующий фазу, вообще говоря не очень стационарный, кроме того имеет медленно меняющуюся постоянную составляющую. Исключить или уменьшить влияние шума на исходный сигнал нельзя.

То, что пытаюсь делать сейчас - это по сути измерение мгновенной частоты с последующим усреднением (НЧ-фильтрацией) из расчета на то, что влияние дрейфа постоянной составляющей шума (т.е. ее прозводной на мгновенное значение частоты) будет мало.
Другого в голову не приходит. Пробовал строить цифровую ФАПЧ (DCO и фазовый детектор в ПЛИС, контурный фильтр софтовый), но пока получилось не хуже / не лучше. Поэтому решил перейти на фильтрацию. С мыслью, что какие-нибудь экзотические алгоритмы (возможно какая-то нелинейная обработка) дадут лучший результат, чем простая линейная фильтрация.

Вот.
Может что подскажите?

Судя по картинке, у вас явно не шум с гауссовским распределением, а импульсные помехи. Нужно научиться их выделять, отбрасывать. А тогда и фильтр НЧ будет работать намного качественнее.

Работаю над этим