Выделение постоянной составляющей на фоне шума, Как сделать? Опции

[R.A.K.]

Есть оцифрованный сигнал в виде постоянной составляющей с шумом и импульсными помехами (по оси х - время в секундах).

Точно известен интервал (+- 5*10^-6), в котором может находиться величина постоянной составляющей (этот интервал показан на рисунке).
Надо определить величину постоянной составляющей. За минимальное время с начала обработки величина постоянной составляющей должна быть определена с точностью около около +- 1*10^-8, при последующей обработке точность должна возрастать (чем больше - тем лучше).

С линейной фильтрацей пока у меня что-то плохо получается. В ЦОС я не силен, поэтому пробовал каскадное включение 10 БИХ-фильтров 1-го порядка (Yn + Yn*(K-1) = K*Xn при K=1/2^6) - слишом много времени уходит (где-то 1500-2000 с) и импульсы мешают.
Пробовал вырезать участки с импульсами и потом "сшитый" сигнал пропускать через ФНЧ, но что-то не очень помогает.
Медианный фильтр не пробовал, т.к. не знаю какого размера окна взять, а при очень большом окне он постоянку исказит (наверное).

Посоветуйте как это лучше (и правильней) сделать.

Сообщение отредактировал R.A.K. - Sep 24 2011, 16:13

[ViKo]

Вернемся к медианному фильтру. Если из 3-х текущих отсчетов выбирать средний по величине, то выброс вверх, а за ним сразу вниз оба будут отброшены. Если выбросов больше, сделать фильтр длиннее, выбирать средний из 5-ти отсчетов. Мало? - из 7-ми...

[Tanya]

Вернемся к медианному фильтру. Если из 3-х текущих отсчетов выбирать средний по величине, то выброс вверх, а за ним сразу вниз оба будут отброшены. Если выбросов больше, сделать фильтр длиннее, выбирать средний из 5-ти отсчетов. Мало? - из 7-ми...

А Вы отсортируйте отсчеты, а потом фильтруйте.... Автору нужно получить константу ОДНУ на выходе.

Дело не "устраивает/неустраивает". Сейчас я истинное значение частоты знаю. Я пытаюсь найти алгоритм, который бы в короткое время выдал близкий к истинному значению результат. Все методы, что пока перепробовал, не дают результат с нужной точностью.

Как вам везет - Вам ведома истина. Тогда посчитайте (Вы же и дисперсию знаете), сколько отсчетов (минимум) нужно для получения истины, лежащей внутри заданного интервала с заданной вероятностью.

[ViKo]

А Вы отсортируйте отсчеты, а потом фильтруйте....

Зачем? Наоборот, это же здорово, что "палки" выскакивают изредка. Не обращать на них внимания и призван медианный фильтр.

Автору нужно получить константу ОДНУ на выходе.

Так потом фильтром НЧ и получить ОДНУ.

А почему, действительно, не взять '1'? Так можно было бы раз в мс просчитывать фильтр 1000 раз вместо одного сейчас. И результат был бы быстрее получен.

+1
Зачем так неэффективно обходиться с данными? Если, как видим, простое среднее значение не дает нужного результата, а нужны дополнительные меры, вроде медианного фильтра, то, конечно, лучше обрабатывать каждый отсчет.

[Tanya]

Зачем? Наоборот, это же здорово, что "палки" выскакивают изредка. Не обращать на них внимания и призван медианный фильтр.

Если Вы отсортируете, то Ваш медианный фильтр не будет фильтровать Ваши "палки" с некоторой вероятностью. Результат должен быть инвариантен к перестановкам. Нет никакой последовательности - есть просто набор (выборка) данных. Так я понимаю... Поэтому - какие фильтры, фурье-преобразования....

[ViKo]

Если Вы отсортируете, то Ваш медианный фильтр не будет фильтровать Ваши "палки" с некоторой вероятностью. Результат должен быть инвариантен к перестановкам.

Ничему ничто не должно. Есть конкретная задача, которую надо решить.
А если я синус оцифрую, а потом перемешаю отсчеты, тоже должно потом фильтроваться, и БПФ частоту должно находить?

Попутно замечу, что существует такой метод (по крайней мере я о нем слышал и подозреваю что ныне он не актуален), когда измеряется медленно-меняющийся сигнал путем наложения на него нормального шума с нулевым средним. В конечном счете это позволяет измерять полезный сигнал более точно, чем это позволяет разрядность АЦП.

Называется "рандомизация". Был, есть и будет есть.

[Tanya]

Ничему ничто не должно. Есть конкретная задача, которую надо решить.
А если я синус оцифрую, а потом перемешаю отсчеты, тоже должно потом фильтроваться, и БПФ частоту должно находить?

Пустые слова какие-то. Задача, которую.... Нет там синуса, нет никакой функции ни от чего. Есть набор чисел. Нужно его статистически обработать. И результат должен быть инвариантен по отношению к перестановкам. Иначе мы не решим конкретную задачу, которую нужно решить.

Называется "рандомизация". Был, есть и будет есть.

Рандомизация, говорите... Если добавить к "сигналу" шум, уменьшим ли мы дисперсию? Эта ария из другой оперы. Информационный шум.

[ViKo]

Пустые слова какие-то. Задача, которую.... Нет там синуса, нет никакой функции ни от чего. Есть набор чисел. Нужно его статистически обработать. И результат должен быть инвариантен по отношению к перестановкам. Иначе мы не решим конкретную задачу, которую нужно решить.

Пустые слова?
Ну почему же статистически? И почему результат должен ... обоснуйте!

Не дает мне подредактировать свое предыдущее сообщение. По-новой напишу.

Если Вы отсортируете, то Ваш медианный фильтр не будет фильтровать Ваши "палки" с некоторой вероятностью. Результат должен быть инвариантен к перестановкам.

Есть конкретная задача, которую надо решить. И нужно воспользоваться теми особенностями сигнала, которые имеем.
А если я синус оцифрую, а потом перемешаю отсчеты, тоже должно потом фильтроваться, и БПФ частоту должно находить?

Имеется входной сигнал примерно 1 kHz, и опорная частота 100 MHz. Формируйте интервал по 10 периодов или больше (но зачем по 1000?) и заполняйте 100 мегагерцами. А дальше фильтруйте все подряд. Похоже, что частота у вас меняется быстро (часто), может, поэтому трудно усредняется. Уже наложение спектра произошло.

Если добавить к "сигналу" шум, уменьшим ли мы дисперсию? Эта ария из другой оперы. Информационный шум.

А мы не дисперсию ищем. Математическое ожидание.

[Tanya]

Пустые слова?
Ну почему же статистически? И почему результат должен ... обоснуйте!

Не дает мне подредактировать свое предыдущее сообщение. По-новой напишу.

Это Вы обоснуйте. Автор пишет (писал), что он точно знает частоту. Ну... это он так думает. Но он близок. Это означает, что он считает (, что знает) априорно, что от времени (номера) ничего из того, что его интересует не зависит. Поэтому от перестановки тоже. Что еще нужно пояснять?

А мы не дисперсию ищем. Математическое ожидание.

Так Вы считаете, что увеличивая дисперсию, мы точнее получаем математическое ожидание? Очень свежо! Обоснуйте.
Ведь когда мы вычисляем дисперсию (для чего!?), то мы потом гордо говорим - среднее значение равно... с такой-то вероятностью..

[ViKo]

Это Вы обоснуйте. Автор пишет (писал), что он точно знает частоту. Ну... это он так думает. Но он близок. Это означает, что он считает (, что знает) априорно, что от времени (номера) ничего из того, что его интересует не зависит. Поэтому от перестановки тоже. Что еще нужно пояснять?

Автор также пишет: "Шум, модулирующий фазу, вообще говоря не очень стационарный, кроме того имеет медленно меняющуюся постоянную составляющую."
Насчет рандомизации - я не настаиваю на ее необходимости в данном случае. Говорю, что такой метод существует.

Эскизы прикрепленных изображений

 

[Tanya]

Насчет рандомизации - я не настаиваю на ее необходимости в данном случае. Говорю, что такой метод существует.

Метод этот для чего существует?!
Вы сами-то читали, что там написано?

Мне не надо "среднее равно х с вероятностью y".
Мне надо "среднее находится в интервале от a до b c вероятностью 1".

Так так же оно и есть. Говорят, что истинное значение лежит с вероятностью ... в интервале одна сигма, с вероятностью ... в интервале 2 сигма. И даже можем сказать про вероятность того, что оно лежит в интервале полсигма. С некоторой вероятностью. А интервалы отсчитываются от абсолютно точно посчитанного среднего значения выборки. Мы его всегда с бесконечно хорошей точностью вычисляем. А с вероятностью 1... нельзя даже сказать, что... некто умрет через миллион лет.