вопрос про интерполяцию Опции

[jorikdima]

Здравствуйте.
Возник вопрос, который быть может, надуман, но хочется разобраться.
Есть сигнал - результат НЧ фильтрации исходного сигнала с целью определить его постоянную составляющую. То есть полоса сигнала в общем то составляет доли Герца, но среднее значение (или нулевая гармоника) может варьироваться в довольно большом диапазоне. Частоту дискретизации этого сигнала нужно поднять в 25 раз, для чего требуется провести интерполяцию. В книжках прочитал, что делается это с помощью добавления нужного числа нулей между исходными отсчетами и пропусканием через ФНЧ для удаления размноженных гармоник. В принципе все работает, но появляются артефакты. Дело в том, что во всех книжках, где рассказывается про интерполяцию, нарисован сигнал с околонулевой постоянной составляющей, ну либо нулевая гармоника много меньше других гармоник в сигнале. И тут все прекрасно, добавляются нули, затем они сглаживаются ФНЧ. Но в случае когда, нулевая гармоника является преобладающей добавление в сигнал отсчетов, сильно отличающихся от текущего значения сигнала (а именно нулевые отсчеты) каждый раз вызывают всплеск на выходе фильтра, пропорциональный разнице между нулем и реальным значением сигнала и зависящим от ИХ фильтра. Этот всплеск у меня много больше шума исходного сигнала, являющейся собственно постоянным током и недопустим.
Что делают гуру в таких ситуациях?
У самого есть идея следующая. Не добавлять нулевых отсчетов и не ставить ФНЧ, а вписывать какой-нибудь полином, тот же сплайн, в реальные отсчеты сигнала, а затем, найдя коэффициенты сплайна, рассчитывать 24 значения между исходными выборками. Минус такого решения, что это не риал тайм, нужно дождаться следующего отсчета прежде чем получить 24 точки до него, но мне не страшно это.
Справедливо ли решение или есть какие-то более мудрые действия?
Спасибо.

[sup-sup]

Здравствуйте.
Возник вопрос, который быть может, надуман, но хочется разобраться.
Есть сигнал - результат НЧ фильтрации исходного сигнала с целью определить его постоянную составляющую. То есть полоса сигнала в общем то составляет доли Герца, но среднее значение (или нулевая гармоника) может варьироваться в довольно большом диапазоне. Частоту дискретизации этого сигнала нужно поднять в 25 раз, для чего требуется провести интерполяцию. В книжках прочитал, что делается это с помощью добавления нужного числа нулей между исходными отсчетами и пропусканием через ФНЧ для удаления размноженных гармоник. В принципе все работает, но появляются артефакты. Дело в том, что во всех книжках, где рассказывается про интерполяцию, нарисован сигнал с околонулевой постоянной составляющей, ну либо нулевая гармоника много меньше других гармоник в сигнале. И тут все прекрасно, добавляются нули, затем они сглаживаются ФНЧ. Но в случае когда, нулевая гармоника является преобладающей добавление в сигнал отсчетов, сильно отличающихся от текущего значения сигнала (а именно нулевые отсчеты) каждый раз вызывают всплеск на выходе фильтра, пропорциональный разнице между нулем и реальным значением сигнала и зависящим от ИХ фильтра. Этот всплеск у меня много больше шума исходного сигнала, являющейся собственно постоянным током и недопустим.
Что делают гуру в таких ситуациях?
У самого есть идея следующая. Не добавлять нулевых отсчетов и не ставить ФНЧ, а вписывать какой-нибудь полином, тот же сплайн, в реальные отсчеты сигнала, а затем, найдя коэффициенты сплайна, рассчитывать 24 значения между исходными выборками. Минус такого решения, что это не риал тайм, нужно дождаться следующего отсчета прежде чем получить 24 точки до него, но мне не страшно это.
Справедливо ли решение или есть какие-то более мудрые действия?
Спасибо.

Только добавлять нули и фильтровать, как изначально правильно решил автор. Правильно подобранный фильтр все и решит. Полоса сигнала не может быть больше, чем Fs/2, то есть полоса фильтра должна быть ниже, но как можно ближе к Fs/2 (к исходной частоте дискретизации. А значит, фильтр (обязательно КИХ) должен быть крутой. Можно сделать интерполяцию в два захода (в пять и еще раз в пять раз). В этом случае фильтры будут в сумме короче. Для сравнения нужно профильтровать исходный сигнал на исходной частоте фильтром с такой же характеристикой и сравнивать уже этот сигнал с полученным после интерполяции. Совпадение должно быть хорошим.

[bahurin]

1. Если надо оценить постоянную составляющую то надо делать фильтр скользящего среднего. Доказано что такой фильтр дает состоятельную несмещенную оценку постоянной составляющей, причем тем оценка точнее, чем фильтр длинее. Если ваша постоянка не меняется во времени (ваш процесс стационарен), то можно реализовать просто интегратор, который будет выдавать постоянную составляющую умноженную на интервал интегрирования. Реализовать фильтр интегратор очень просто.

2. Если ваша постоянка меняется во времени, значит ваш процесс нестационарен и в этом случае принято определять интервал стационарности сигнала, который и будет задавать длину фильтра скользящего среднего. Говорить о состоятельности и несмещенности оценки в этом случае не приходится.

3. Если вам надо вырезать какую-то часть спектра вблизи нуля, то для этого необходимо ставить фвч. При этом частота среза вашего цифрового ФВЧ будет зависеть от полосы вблизи нуля и частоты дискретизации. Если скажем вы хотите на частоте дискретизации 1 МГц отфильтровать все что ниже 1 Гц, то вам потребуется FIR фильтр ОЧЕНЬ большого порядка. IIR в этом случае вообще может быть неустойчив даже при 32 битном представлении с плавующей точкой. Это обусловленно самым фундаментальным принципом - принципом неопределенности и ни один смертный ничего не может с этим поделать.

Если я правильно понял, то частота дискретизации много больше условно верхней частоты сигнала. Поэтому чтобы реализовать нормальную фильтрацию надо децимировать. Это нормально. Мне не ясно зачем потом обратно интерполировать? Если сумели снизить частоту дискретизации ничего существенного не потеряв зачем обратно то задирать? Обрабатывайте дальше на пониженной частоте все алгоритмы будут работать с той же точностью, только быстрее.

4. Не понятрно, почему вы боитесь исказить фазу IIR фильтром? если у вас нулевая пч то ставьте один и тотже IIR на I и на Q и наслаждайтесь. Никакие характеристики вы не потеряете, потому что разность фаз квадратурных каналов в останется неизменной.

[jorikdima]

3. Если вам надо вырезать какую-то часть спектра вблизи нуля, то для этого необходимо ставить фвч. При этом частота среза вашего цифрового ФВЧ будет зависеть от полосы вблизи нуля и частоты дискретизации. Если скажем вы хотите на частоте дискретизации 1 МГц отфильтровать все что ниже 1 Гц, то вам потребуется FIR фильтр ОЧЕНЬ большого порядка. IIR в этом случае вообще может быть неустойчив даже при 32 битном представлении с плавующей точкой. Это обусловленно самым фундаментальным принципом - принципом неопределенности и ни один смертный ничего не может с этим поделать.

Да, скорее этот вариант

Если я правильно понял, то частота дискретизации много больше условно верхней частоты сигнала. Поэтому чтобы реализовать нормальную фильтрацию надо децимировать. Это нормально. Мне не ясно зачем потом обратно интерполировать? Если сумели снизить частоту дискретизации ничего существенного не потеряв зачем обратно то задирать? Обрабатывайте дальше на пониженной частоте все алгоритмы будут работать с той же точностью, только быстрее.

Интерполировать, чтобы из сигнала с большой частотой дискретизации вычесть постоянную составляющую. Следовательно они должны идти с одним самплинг рэйтом, а именно тем, который выше.

[bahurin]

Да, скорее этот вариант

Интерполировать, чтобы из сигнала с большой частотой дискретизации вычесть постоянную составляющую. Следовательно они должны идти с одним самплинг рэйтом, а именно тем, который выше.

Если вы поставите ФВЧ то вам не придется ничего вычитать. Ваша постоянка будет подавлена ФВЧ. Если вы поставите ФВЧ после децимации, то ФВЧ будет меньшего порядка, т.к. частота дискретизации ниже. И всю дальнейшую обработку можно вести после децимации и соотвественно фильтрации ФВЧ без интерполяции и прочих прелестей жизни. Только надо децимировать правильно чтобы не потерять полезный сигнал.

1. FIR с прямоугольным окном (скользящее среднее) заведомо хуже, а фильтр длиннее, чем FIR с окном, расчитанным под задачу.

фильтр скользящего среднего обеспечивает несмещенную состоятельную оценку мат. ожидания. читайте матчасть.

2. Если бы не было проблем, автор сразу бы решил просто вычесть грубо постоянку и резко уменьшить таким образом динамический диапазон. Возможно, постоянка - это низкочастотный шум, диапазон которого гораздо больше сигнала и по каким-то причинам его нельзя убрать до оцифровки. Возможно, это полезный сигнал для другой части устройства. Можно погадать. В этом случае лучшее решение - нормально расчитанный FIR (я бы взял подходящее окно, например Гаусса и подобрал подходящий коэффициент и длину под затухание вне полосы.
3. Автор сказал, что постоянку надо вернуть с помощью интерполяции на исходную частоту чтобы вычесть ее из сигнала. То есть, такой способ реализации фильтра высоких частот.

Еще раз повторяю. Капитан очевидность утверждает что убирать постоянную составляющую надо фильтром верхних частот. В технике для устранения постоянной составляющей ставят емкость, а не вычитатель. Убирать постоянку вычитанием крайне неэффективно. ПРичем с интерполяцией дейимацией и прочего.

4. Тут я не понял. А раз так, что применил бы FIR c которым не должно быть проблем.

поясняю пропускание через IIR фильтр добавляет к синфазной и квадратурному каналам одинаковую фазовую добавку exp(j*Ф(w)), которая не повлияет на амплитудную огибающую и скомпенсируется при вычислении фазовой огибающей при делении atan(Q(t)/I(t)).

[sup-sup]

1. фильтр скользящего среднего обеспечивает несмещенную состоятельную оценку мат. ожидания. читайте матчасть...
2. Еще раз повторяю. Капитан очевидность утверждает что убирать постоянную составляющую надо фильтром верхних частот. В технике для устранения постоянной составляющей ставят емкость, а не вычитатель. Убирать постоянку вычитанием крайне неэффективно. ПРичем с интерполяцией дейимацией и прочего.
3. поясняю пропускание через IIR фильтр добавляет к синфазной и квадратурному каналам одинаковую фазовую добавку exp(j*Ф(w)), которая не повлияет на амплитудную огибающую и скомпенсируется при вычислении фазовой огибающей при делении atan(Q(t)/I(t)).

1. Скользящее среднее имеет частотку sin(x)/x. И это значительно хуже того, что можно получить фильтром с другим окном. По-другому, при очередном сдвиге фильтра с прямоугольным окном из него выпадает и в него попадает попадает полный сэмпл, а в фильтре с неприподнятым окном только очень маленькая его часть, что и приводит к лучшей частотке. В конце концов, любой FIR можно назвать фильтром скользящего среднего., тогда да. Еще, можно поставить подряд несколько одинаковых скользящих фильтров с прямоугольным окном и получим в пределе гауссовское.
2. В конце концов и получится ФВЧ. Если при такой 'неправильной' организации на него уйдет меньше ресурса, то и нормально.
3. Так тут вроде нет действительной и мнимой частей. А IIR на подозрении, так как кажется лучше, чтобы фазовая была линейна, чтобы при вычитании не нарушилось ничего. Все-таки 80 дБ.

Сообщение отредактировал sup-sup - Nov 7 2010, 14:07

[bahurin]

1. Скользящее среднее имеет частотку sin(x)/x. И это значительно хуже того, что можно получить фильтром с другим окном. По-другому, при очередном сдвиге фильтра с прямоугольным окном из него выпадает и в него попадает попадает полный сэмпл, а в фильтре с неприподнятым окном только очень маленькая его часть, что и приводит к лучшей частотке. В конце концов, любой FIR можно назвать фильтром скользящего среднего., тогда да. Еще, можно поставить подряд несколько одинаковых скользящих фильтров с прямоугольным окном и получим в пределе гауссовское.
2. В конце концов и получится ФВЧ. Если при такой 'неправильной' организации на него уйдет меньше ресурса, то и нормально.
3. Так тут вроде нет действительной и мнимой частей. А IIR на подозрении, так как кажется лучше, чтобы фазовая была линейна, чтобы при вычитании не нарушилось ничего. Все-таки 80 дБ.

1. А с чего вы взяли, что на точность оценки мат ожидания оказывает влияние АЧХ вашего скользящего окна? вот вам пример из матлаба который говорит о том что использование окна хэмминга при оценки матожидания увеличивает СКО оценки

Код

N = 10000;  %длина исходного сигнала
L = 100;    %длина фильтра
s = randn(1,N)+1;   % исходный СП с матожиданием равным 1

h = ones(1,L)/L;    %прямоуглольное скользящее окно
w = hamming(L);     %скользящее окно хемминга
w = w/sum(w);       %нормирую окно хемминга чтобы сумма равна была 1 для точного определения мат ожидания

sh = filter(h,1,s); %фильтрую скользящим среднем с прямоугольным окном
sw = filter(w,1,s); %фильтрую скользящим среднем с окном хэмминга

stdh = std(sh(L:N))   %СКО на выходе прямоугольного окна беру без первых L элементов чтобы устранить переходной процесс
stdw = std(sw(L:N))   %СКО на выходе окна хэмминга беру без первых L элементов чтобы устранить переходной процесс

plot(1:N,sh,1:N,sw) % графики

при этом получаем СКО оценки мат ожидания прямоугольным окном stdh = 0.0952, а окном хэмминга stdw = 0.11. Видно что СКО оценки при окне хэмминга БОЛЬШЕ.

2. вряд ли с интерполяцией и т.д. на него уйдет меньше ресурсов.

Не соглашусь с капитаном. ФВЧ и ФНЧ дуальны, используя ФНЧ можно вычитанием получить ФВЧ, почему нет. И в моем случае не эффективно именно не использовать децимацию.

Категорически не согласен. Если речь идет о FIR (КИХ) фильтре с линейной фазой, то еще может после некоторых танцев с бубнами путем утсранения задержки вы получите что-то похожее на ФВЧ. Но если возьмете IIR фильтр (баттерворта, чебышева или кауэра), то тут у вас точно вычитанием результата как на выходе ФВЧ не получится никогда.

[sup-sup]

Не могу быстро ответить про Матлабовский пример. Как я понял, там взят белый шум. Реально () есть низкочастотная составляющая, которую надо убрать. Мне понятнее это представлять как фильтр. В этом случае, требуемое затухание нужно около 100 дБ. Это решение легко проверить. Нужна только реальная выборка. Автор, наверное, имеет и проверит, что посчитает нужным. Насчет бубна, так нет, применяя FIR можно и без бубна. Задержка конкретная, которую с точность до сэмпла надо учесть при вычитании.

[bahurin]

Не могу быстро ответить про Матлабовский пример. Как я понял, там взят белый шум. Реально () есть низкочастотная составляющая, которую надо убрать. Мне понятнее это представлять как фильтр. В этом случае, требуемое затухание нужно около 100 дБ. Это решение легко проверить. Нужна только реальная выборка. Автор, наверное, имеет и проверит, что посчитает нужным. Насчет бубна, так нет, применяя FIR можно и без бубна. Задержка конкретная, которую с точность до сэмпла надо учесть при вычитании.

Вот теперь я попробую вам донести свою мысль. Так вот если вы хотите оценить мат ожидание, то прямоугольное скользящее окно является лучшим выбором. И хотя в частотной области характеристика sin(x)/x, но СКО оценки мат ожидания на выходе прямоугольного окна будет меньше, чем при использовании любого другого окна. Почему? все просто. Для того чтобы оценка матожидания была несмещенной, сумма всех отсчетов вашего окна должна быть равна 1. Я вводил нормировку в эксперименте когда взял окно хэмминга. При этом в прямоугольном окне все значения равны 1/L, а в окне хемминга в центре будут занчения большие чем 1/L. При скольжении окна на пути скольжения появляются выбросы и если эти выбросы в прямоугольном окне размазываются равномерно, то в окне хемминга они сильно давятся на краях окна. НО окно то скользит, и рано или поздно выброс попадет в центр окна, и будет усреднен не по всему окну, а только в середке (где горбик), потому что края вносят малый вес. А еще в середке большой выброс будет умножен не на 1/L, а на значение больше чем 1/L. так что большой выброс будет подавлен окном с горбиком хуже чем прямоугольным окном. А поскольку из таких выбросов состоит весь процесс, то получается, что окно хэмминга (как и любое другое окно) будет давать СКО оценки мат ожидания больше чем прямоугольное. Именно это я имел ввиду когда посылал вас читать матчасть. Правда в стат радиотехнике это все доказывается достаточно строго. Если это рабоче-крестьянское объяснение вас не устроит, я умываю руки.
Теперь если вы хотите оперировать понятием фильтра, то постоянную составляющую устраняет не вычитатель матожидания, а фильтр верхних частот. По сути вычитатель выполняет функции что и ФВЧ, но требует оценки этого самого матожидания, в отличии от ФВЧ, который как я уже писал выше вещь довольно самодостаточная и никакой информации о сигнале не требующая. В этом смысле используя ФВЧ вы гарантируете заданный уровень подавления вблизи нуля для любого сигнала, в отличии от вашей выдумки про вычитатель, когда интервал стационарности СП на входе может стать короче вашего окна оценки этого матожидания и вся ваша выдумка перестает работать. Вам лишь надо найти компромис между порядком фильтра, частотой дискретизации, полосой заграждения фильтра и переходной полосой. чтобы фильтр был реализуем и устойчив. Это уже задача в большей степени организационная нежили техническая, поскольку таким образом от характериситк входного сигнала вы по сути отвязались. Если у вас требуемый уровень подавления 100 дБ, то для вычитателя вам потребуется оценить постоянку с точностью 0.0000000001, что потребует минимум 100 000 000 000 отсчетов.

Сообщение отредактировал bahurin - Nov 7 2010, 15:53

[sup-sup]

Вот теперь я попробую вам донести свою мысль. Так вот если вы хотите оценить мат ожидание, то прямоугольное скользящее окно является лучшим выбором. И хотя в частотной области характеристика sin(x)/x, но СКО оценки мат ожидания на выходе прямоугольного окна будет меньше, чем при использовании любого другого окна. Почему? все просто. Для того чтобы оценка матожидания была несмещенной, сумма всех отсчетов вашего окна должна быть равна 1. Я вводил нормировку в эксперименте когда взял окно хэмминга. При этом в прямоугольном окне все значения равны 1/L, а в окне хемминга в центре будут занчения большие чем 1/L. При скольжении окна на пути скольжения появляются выбросы и если эти выбросы в прямоугольном окне размазываются равномерно, то в окне хемминга они сильно давятся на краях окна. НО окно то скользит, и рано или поздно выброс попадет в центр окна, и будет усреднен не по всему окну, а только в середке (где горбик), потому что края вносят малый вес. А еще в середке большой выброс будет умножен не на 1/L, а на значение больше чем 1/L. так что большой выброс будет подавлен окном с горбиком хуже чем прямоугольным окном. А поскольку из таких выбросов состоит весь процесс, то получается, что окно хэмминга (как и любое другое окно) будет давать СКО оценки мат ожидания больше чем прямоугольное. Именно это я имел ввиду когда посылал вас читать матчасть. Правда в стат радиотехнике это все доказывается достаточно строго. Если это рабоче-крестьянское объяснение вас не устроит, я умываю руки.
Теперь если вы хотите оперировать понятием фильтра, то постоянную составляющую устраняет не вычитатель матожидания, а фильтр верхних частот. По сути вычитатель выполняет функции что и ФВЧ, но требует оценки этого самого матожидания, в отличии от ФВЧ, который как я уже писал выше вещь довольно самодостаточная и никакой информации о сигнале не требующая. В этом смысле используя ФВЧ вы гарантируете заданный уровень подавления вблизи нуля для любого сигнала, в отличии от вашей выдумки про вычитатель, когда интервал стационарности СП на входе может стать короче вашего окна оценки этого матожидания и вся ваша выдумка перестает работать. Вам лишь надо найти компромис между порядком фильтра, частотой дискретизации, полосой заграждения фильтра и переходной полосой. чтобы фильтр был реализуем и устойчив. Это уже задача в большей степени организационная нежили техническая, поскольку таким образом от характериситк входного сигнала вы по сути отвязались. Если у вас требуемый уровень подавления 100 дБ, то для вычитателя вам потребуется оценить постоянку с точностью 0.0000000001, что потребует минимум 100 000 000 000 отсчетов.

Я думаю, что применение матожидания и дисперсии и белого шума несколько отдалена от анализа реального сигнала. Вы, кстати, упоминали, что для нестационарного процесса это не так. Все решит обработка реальной выборки сигнала, которой у нас нет. Насчет реализации ФВЧ, это все равно как его делать и как назвать, лишь бы правильно работало. Как сказал классик - 'не важно, чтобы это было научно, нужно чтобы было верно'. В конце концов реализация с вычитанием вполне классическая, если это требуется. А децибеллы здесь по напряжению, так что всего 0.00001.

[bahurin]

Как сказал классик - 'не важно, чтобы это было научно, нужно чтобы было верно'.

Вот с этим я никогда не соглашусь. ибо раньше говорили что «Учение Маркса всесильно, потому что оно верно!», а еще раньше утверждали что земля плоская и стоит на трех китах, и считали, что это верно, и кроме того, любого кто так не считал сжигали на костре только потому что это верно. И только наука расставляет критерии того что верно и что неверно. И критерии эти вполне конкретны. Самое важное что отличает науку от всех остальных догм - эксперимент и его повтрояемость. Вы 1000 раз можете подбрасывать мячик и он 1000 раз упадет на землю. Это наука. Точно также вы можете перепробывать 1000 различных окон, но СКО оценки матожидания у всех них будет выше, чем у прямоугольного окна, для стационарного СП хотя вы можете считать что это неверно. И как только вы отказываетесь от научности вы погружаетесь во мглу в которой нет ориентиров. Удачи.

[sup-sup]

Вот с этим я никогда не соглашусь. ибо раньше говорили что «Учение Маркса всесильно, потому что оно верно!», а еще раньше утверждали что земля плоская и стоит на трех китах, и считали, что это верно, и кроме того, любого кто так не считал сжигали на костре только потому что это верно. И только наука расставляет критерии того что верно и что неверно. И критерии эти вполне конкретны. Самое важное что отличает науку от всех остальных догм - эксперимент и его повтрояемость. Вы 1000 раз можете подбрасывать мячик и он 1000 раз упадет на землю. Это наука. Точно также вы можете перепробывать 1000 различных окон, но СКО оценки матожидания у всех них будет выше, чем у прямоугольного окна, для стационарного СП хотя вы можете считать что это неверно. И как только вы отказываетесь от научности вы погружаетесь во мглу в которой нет ориентиров. Удачи.

Не отказываюсь. Грызу. Со стационарным процессом все понял, прямоугольное лучше. Но реально работая с сигналами, никогда не видел белого шума. А небольшая узкополосная помеха сразу делает гладкое окно более выгодным.