реклама на сайте
подробности

 
 
2 страниц V   1 2 >  
Reply to this topicStart new topic
> Опять про фильтрацию шумов - ищу метод/алгоритм
Vadim_Kh
сообщение Mar 16 2010, 17:17
Сообщение #1


Участник
*

Группа: Участник
Сообщений: 37
Регистрация: 9-01-07
Пользователь №: 24 233



Избитая тема, даже хотел поднять из недр форума нечто с похожим названием, но всё же решился завести новую тему.
Задача тривиальна. Имеется усилитель, выходной сигнал которого оцифрован с помощью АЦП. Отношение сигнал/шум невелико, соответственно для дальнейшей обработки требуется фильтрация. Поскольку полезный сигнал появляется в определённые моменты времени (они известны), есть возможность записать "шумовой профиль". Как используя такой профиль построить фильтр, максимально повышающий отношение С/Ш?.
Спасибо.
Go to the top of the page
 
+Quote Post
Aner
сообщение Mar 16 2010, 17:31
Сообщение #2


Гуру
******

Группа: Свой
Сообщений: 4 869
Регистрация: 28-02-08
Из: СПБ
Пользователь №: 35 463



А никак. Только ухудшить можно. Постановка задачи неверна.
Go to the top of the page
 
+Quote Post
Vadim_Kh
сообщение Mar 16 2010, 17:43
Сообщение #3


Участник
*

Группа: Участник
Сообщений: 37
Регистрация: 9-01-07
Пользователь №: 24 233



А чего не хватает дя правильной постановки задачи? Как тогда работают раличные программы по удалению шума с фото?
Почему можно выделить сигнал, зная его (сигнала) характеристики, но нельзя избавиться от шума, зная характеристики этого шума?
Go to the top of the page
 
+Quote Post
Aner
сообщение Mar 16 2010, 18:07
Сообщение #4


Гуру
******

Группа: Свой
Сообщений: 4 869
Регистрация: 28-02-08
Из: СПБ
Пользователь №: 35 463



Похоже вам не хватает знаний, терминов и прочитанных книжек по этой теме.

Фото статично. Фильтровать можно. Шум не статичен, динамичный не поторяющийся во времени процесс, чем и отличается от сигналов; недетерминированный процесс с вероятностным распределением.
Сигнал - детерминированный процесс (определен во времени) имеет закон(ы). Шум перемножается с сигналом а не складывается ( отсюда и отношение сигнал/шум) по этому вычесть шумы так просто нельзя. Но попытки есть и их много.
Go to the top of the page
 
+Quote Post
Vadim_Kh
сообщение Mar 16 2010, 18:13
Сообщение #5


Участник
*

Группа: Участник
Сообщений: 37
Регистрация: 9-01-07
Пользователь №: 24 233



Знаний действительно не хватает, поэтому если можно-дайте ссылочки на доступную для понимания литературу.
Немного уточню.
Речь не идёт об анализе "на лету". Подлежащий очистке от шумов фрагмент лежит в памяти.
Go to the top of the page
 
+Quote Post
Aner
сообщение Mar 16 2010, 18:18
Сообщение #6


Гуру
******

Группа: Свой
Сообщений: 4 869
Регистрация: 28-02-08
Из: СПБ
Пользователь №: 35 463



тогда сделайте из этого фрагмента фото и очистите от шумов.
Go to the top of the page
 
+Quote Post
Vadim_Kh
сообщение Mar 16 2010, 18:26
Сообщение #7


Участник
*

Группа: Участник
Сообщений: 37
Регистрация: 9-01-07
Пользователь №: 24 233



А вменяемые ответы существуют? Или мой вопрос сродни вопросу "как построить вечный двигатель"?
Go to the top of the page
 
+Quote Post
Aner
сообщение Mar 16 2010, 19:25
Сообщение #8


Гуру
******

Группа: Свой
Сообщений: 4 869
Регистрация: 28-02-08
Из: СПБ
Пользователь №: 35 463



думаю, что вам из литературы посоветовать. Каков ваш уровень подготовки?

Или поясните, подробнее, что за сигналы у вас записанные?
Старая грампластинка, речевой скремблер, с эфира что-то или что то другое; что за характер шума и что вы хотите очищать?
Что такое полезный сигнал? Речь, тон, музыка или еще что-то?
Go to the top of the page
 
+Quote Post
Vadim_Kh
сообщение Mar 16 2010, 20:33
Сообщение #9


Участник
*

Группа: Участник
Сообщений: 37
Регистрация: 9-01-07
Пользователь №: 24 233



Уровень - высшее (радио)техническое образование, но с подобного рода задачами не сталкивался, поэтому и спрашиваю.

Сигнал: одиночные импульсы, по форме напоминают кривую-распределение Гаусса. Это отклик на возникший в устройстве ионный ток. Возможны отклонения от формы из-за возникновения (и соответственно наложения) разнесённых во времени нескольких таких откликов.
Шум - тепловой+ приборный (это макет, не всё идеально сделано).
То, что я могу усмотреть глазом с помощью осциллографа (к сожалению спектры сигнала и шума измерить пока не могу) - шум более высокочастотен.
Собственно этот шум и нужно попытаться отфильтровать. Важо максимально сохранить параметры кривой ( в т.ч. положение максимума), и если было указанное наложение - то оно не должно быть потеряно после фильтрации. Если бы сигнал был бы детерминирован - обошёлся бы наверное согласованным фильтром, а так...

Сообщение отредактировал Vadim_Kh - Mar 16 2010, 20:34
Go to the top of the page
 
+Quote Post
связист
сообщение Mar 16 2010, 21:37
Сообщение #10


Частый гость
**

Группа: Свой
Сообщений: 154
Регистрация: 1-08-08
Из: Санкт-Петербург
Пользователь №: 39 377



Цитата(Aner @ Mar 16 2010, 21:07) *
Похоже вам не хватает знаний, терминов и прочитанных книжек по этой теме.

Фото статично. Фильтровать можно. Шум не статичен, динамичный не поторяющийся во времени процесс, чем и отличается от сигналов; недетерминированный процесс с вероятностным распределением.
Сигнал - детерминированный процесс (определен во времени) имеет закон(ы). Шум перемножается с сигналом а не складывается ( отсюда и отношение сигнал/шум) по этому вычесть шумы так просто нельзя. Но попытки есть и их много.


Наверное автору не хватает знаний, но и Вам их тоже не достяёт...
Шум не перемножается с сигналом, а именно прибавляется к нему!!!
Поэтому он и назвается аддитивным.
Операция сложения - линейная операция (как и вычитание, дифференцирование, интегрирование и т.д.). А перемножение - не линейная (и не надо показывать пальцем на умножение на константу smile.gif ).
Вычесть шумы сложно, но возможно. А вот если бы шумы перемножились с сигналом, то появились бы всякие нехорошие лишние спектральные составляющие, которых не было ни в сигнале, ни в шуме. Такие лишние составляющие обычно появляются из-за нелинейных преобразований (хороший пример - ограничение амплитуды в операционных усилителях при подаче на вход слишом большого сигнала).
Go to the top of the page
 
+Quote Post
Xenia
сообщение Mar 16 2010, 23:16
Сообщение #11


Гуру
******

Группа: Модератор FTP
Сообщений: 4 479
Регистрация: 20-02-08
Из: Москва
Пользователь №: 35 237



Цитата(Vadim_Kh @ Mar 16 2010, 23:33) *
Сигнал: одиночные импульсы, по форме напоминают кривую-распределение Гаусса. Это отклик на возникший в устройстве ионный ток. Возможны отклонения от формы из-за возникновения (и соответственно наложения) разнесённых во времени нескольких таких откликов.
Шум - тепловой+ приборный (это макет, не всё идеально сделано).

Для фильтрации приборного шума на пиках гауссовой формы в самом простешем случае годится аппроксимация параболой по N соседним точкам. Величина N зависит от числа отсчетов АЦП на полуширине пика. Прикидочно N она не должна превышать полуширину самого узкого из возможных пиков.
В практическом случае решение этой задачи сводится к вычислению N-коэффициентов (не на МК, а на большом компьютере или берется из таблиц), а на МК програмируется лишь свертка с этими коэффициентами:
A[i] = (k1*A[i-N/2] + ... + kN/2*A[N/2] + kN*A[i+N/2]) / (сумма K);
При этом уже отфильтрованные (вычисленные) значения A[i] не должны использоваться в правой части этого выражения.
Помимо этого варианта, существует множествло других фильтров, отличающихcя лишь набором коэффициентов k.
Хорош также метод медианной фильтрании по тем же N точкам, когда измеренный отчет заменяется на медианное среднее по ближайшим N отсчетам. Но МК это вычислять будет дольше, а потому, если у вас скорость оцифровки велика, то может не успеть.
Go to the top of the page
 
+Quote Post
V_G
сообщение Mar 17 2010, 00:05
Сообщение #12


Профессионал
*****

Группа: Свой
Сообщений: 1 818
Регистрация: 15-10-09
Из: Владивосток
Пользователь №: 52 955



Цитата(Vadim_Kh @ Mar 17 2010, 06:33) *
Сигнал: одиночные импульсы, по форме напоминают кривую-распределение Гаусса.
....
Если бы сигнал был бы детерминирован - обошёлся бы наверное согласованным фильтром, а так...

А что мешает применить согласованный фильтр?
Длительность импульса (хотя бы в диапазоне) известна?
Период повторения (хотя бы в диапазоне) известен?

Если импульсы редкие, стройте фильтр с ИХ, приближенной по форме к импульсу, он будет почти согласован.
Go to the top of the page
 
+Quote Post
DRUID3
сообщение Mar 17 2010, 00:44
Сообщение #13


山伏
*****

Группа: Свой
Сообщений: 1 827
Регистрация: 3-08-06
Из: Kyyiv
Пользователь №: 19 294



Цитата(связист @ Mar 16 2010, 23:37) *
Наверное автору не хватает знаний, но и Вам их тоже не достяёт...

Как профессиональная жертва системы высшего образования с уверенностью могу сказать - "длина физтеха" никак не коррелирует с адекватностью восприятия действительности. Давайте же не "мерятся", а общими усилиями прояснять действительность, если, конечно, изначальные цели топика столь благородны...

Цитата(связист @ Mar 16 2010, 23:37) *
Шум не перемножается с сигналом, а именно прибавляется к нему!!! Поэтому он и назвается аддитивным.

Ай-я-я-я! Что Вы говорите! Всенепременнейше нужно запомнить...(записывает)... Но скажите, о наш добрый друг, каким боком это поможет будущим поколениям однозначно решать уравнения вида X+Y=18; (С+Ш=столько_то). laughing.gif

Цитата(связист @ Mar 16 2010, 23:37) *
Операция сложения - линейная операция (как и вычитание, дифференцирование, интегрирование и т.д.). А перемножение - не линейная (и не надо показывать пальцем на умножение на константу smile.gif ).

Наша пісня гарна й нова - починаймо її знова. Вже було ж на форумі! huh.gif Линейность и не линейность ортогональные (могут сочетаться, а могут и нет) понятия относительно детерминированности и стохастичности. sad.gif Что за люди, блин... Вот формирование SSB - операция очень даже нелинейная, но удивительно детерминированная...

Цитата(связист @ Mar 16 2010, 23:37) *
Вычесть шумы сложно, но возможно.

Да-да, друзья... главное верить... Давайте же присядем вокруг огонька нашей веры, возьмем друг друга за руки, закроем глаза и распевая мантры приобщимся к мировой духовной практике очищения зерн от плевел сигналов от шумов... Но... что это... что я вижу во тьме mellow.gif ... какие странные знаки указывает нам судьба? Почти все существующие методики снятия зашумления так или иначе основаны на принципе "загрубления"(зачастую нелинейного!!!). И работают они, как это не парадоксально, лучше всего для 2D картинок... да не простых, а тех, на которые потом будут пялится людишки. Вдумаемся же над природой сих священных чудес. Не эти ли самые людишки так примитивны в ничтожестве природы своей, что не могут отличить оригинал от грубой суперпозиции сочных цветовых пятен(аллюзии на тему Wavelet-сжатия - как оптимальнейшего для восприятия человеком ввиду природы зрения). Собственно и вся разгадка... laughing.gif ...
...сразу же рождается и чудо-методика>>>. Подвергнуть провинившийся сигнал разложению в один из ортогональных базисов(с функциями по природе своей наиболее близкими к сигналу и наиболее далекими от шума). Затем обнулить "маловесные" коэффициенты и произвести обратное преобразование. По-сути это и есть оптимальная фильтрация, только не "влоб" во временной области, а исходя из допущения о близости-дальности сигнала и шума в каком-то определенном базисе...И нелинейный его вариант - отбросить младшие разряды всех коэффициентов преобразования без разбору - меньше ветвлений и операций вообще...

Цитата(связист @ Mar 16 2010, 23:37) *
А вот если бы шумы перемножились с сигналом, то появились бы всякие нехорошие лишние спектральные составляющие, которых не было ни в сигнале, ни в шуме.

...ну и что? Любой смеситель радиоприемника(родной брат устройства выборки-хранения любого АЦП) ведет себя так по-хамски... Почему же это не стало помехой вековой истории гетеродинного приема и не нивелирует до уровня гадания на бараньей лопатке измерения в цифровых системах и устройствах?

Цитата(связист @ Mar 16 2010, 23:37) *
Такие лишние составляющие обычно появляются из-за нелинейных преобразований (хороший пример - ограничение амплитуды в операционных усилителях при подаче на вход слишом большого сигнала).

wassat.gif

Цитата(Xenia @ Mar 17 2010, 01:16) *
Для фильтрации приборного шума на пиках гауссовой формы в самом простешем случае годится аппроксимация параболой по N соседним точкам...

... Хорош также метод медианной фильтрании по тем же N точкам, когда измеренный отчет заменяется на медианное среднее по ближайшим N отсчетам.

И то и то - суть "загрубления"...


Цитата(Vadim_Kh @ Mar 16 2010, 22:33) *
Сигнал: одиночные импульсы, по форме напоминают кривую-распределение Гаусса.


Цитата(Vadim_Kh @ Mar 16 2010, 22:33) *
Это отклик на возникший в устройстве ионный ток. Возможны отклонения от формы из-за возникновения (и соответственно наложения) разнесённых во времени нескольких таких откликов.

ммм... такие "наложения" возможны, например, в случае "биений" двух циклических процессов с разными периодами... Но это могло бы быть вполне детерминированной системой.

Цитата(Vadim_Kh @ Mar 16 2010, 22:33) *
Шум - тепловой+ приборный (это макет, не всё идеально сделано).

Макет-не макет - но время прихода импульсов стохастично? Главное это... Ясно...

Цитата(Vadim_Kh @ Mar 16 2010, 22:33) *
... шум более высокочастотен.

э-э-э-эгм... Если мы говорим о одной и той же кривой распределения Гаусса - то это довольно гладкая функция. Откуда там высокочастотность? Или он "чаще идет"?

Цитата(Vadim_Kh @ Mar 16 2010, 22:33) *
Собственно этот шум и нужно попытаться отфильтровать.

...логично...
Цитата(Vadim_Kh @ Mar 16 2010, 22:33) *
Важо максимально сохранить параметры кривой ( в т.ч. положение максимума), и если было указанное наложение - то оно не должно быть потеряно после фильтрации.

Это самая комичная часть Ваших требований... Долго объяснять... Да и Гедель с Витгенштейном говорят, что это бесполезно... Обо многом лучше просто молчать biggrin.gif ... Придется взять на-веру... По-простому это необратимый размен... раз собрались "загрублять" а не разделять, то...

Цитата(Vadim_Kh @ Mar 16 2010, 22:33) *
Если бы сигнал был бы детерминирован - обошёлся бы наверное согласованным фильтром, а так...

...ну или шум детерминирован... это понятно...


--------------------
Нас помнят пока мы мешаем другим...
//--------------------------------------------------------
Хороший блатной - мертвый...
//--------------------------------------------------------
Нет старик, это те дроиды которых я ищу...
Go to the top of the page
 
+Quote Post
serebr
сообщение Mar 17 2010, 04:56
Сообщение #14


Частый гость
**

Группа: Свой
Сообщений: 191
Регистрация: 10-01-05
Из: San Francisco Bay, Silicon Valley
Пользователь №: 1 869



Цитата(Vadim_Kh @ Mar 17 2010, 02:33) *
Уровень - высшее (радио)техническое образование, но с подобного рода задачами не сталкивался, поэтому и спрашиваю.

Сигнал: одиночные импульсы, по форме напоминают кривую-распределение Гаусса. Это отклик на возникший в устройстве ионный ток. Возможны отклонения от формы из-за возникновения (и соответственно наложения) разнесённых во времени нескольких таких откликов.
Если бы сигнал был бы детерминирован - обошёлся бы наверное согласованным фильтром, а так...

Сигнал вполне можно считать определённым для целей фильтрации, если он является линейной комбинацией нескольких откликов разной амплитуды и сдвинутых по времени. Согласованный фильтр (тот, который максимизирует отношение сигнал/шум) будет представлять собой FIR с коэффициентами, равными одиночному импульсному отклику. Т.е. свёртка с массивом, представляющим собой по развёрнутый по времени ваш единичный импульсный отклик - это самый лучший вариант для первоначальной обработки вашего сигнала.
Go to the top of the page
 
+Quote Post
DRUID3
сообщение Mar 17 2010, 05:12
Сообщение #15


山伏
*****

Группа: Свой
Сообщений: 1 827
Регистрация: 3-08-06
Из: Kyyiv
Пользователь №: 19 294



Цитата(serebr @ Mar 17 2010, 06:56) *
Сигнал вполне можно считать определённым для целей фильтрации, если он является линейной комбинацией нескольких откликов разной амплитуды и сдвинутых по времени.

нет... нельзя... пачки дэльта-импульсов приходящие через недетерминированный интервал времени - одна из многочисленных моделей стохастического сигнала... аФФтАр и пишет, что природа их шумовая. Я думаю, имеется нечто вроде шума на выходе сверхрегенеративного приемника(если кто знаком с устройством и принципом, если нет - забудьте) в отсутствии сигнала...

Цитата(serebr @ Mar 17 2010, 06:56) *
Согласованный фильтр (тот, который максимизирует отношение сигнал/шум) будет представлять собой FIR с коэффициентами, равными одиночному импульсному отклику.

ну, ведь топикстартер ясным по белому пишет - импульсы приходят в непредсказуемые интервалы времени, иногда сливаясь...

Цитата(serebr @ Mar 17 2010, 06:56) *
Т.е. свёртка с массивом, представляющим собой по развёрнутый по времени ваш единичный импульсный отклик - это самый лучший вариант для первоначальной обработки вашего сигнала.

нет... это далеко не лучший вариант, судя по описанию...


--------------------
Нас помнят пока мы мешаем другим...
//--------------------------------------------------------
Хороший блатной - мертвый...
//--------------------------------------------------------
Нет старик, это те дроиды которых я ищу...
Go to the top of the page
 
+Quote Post

2 страниц V   1 2 >
Reply to this topicStart new topic
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0

 


RSS Текстовая версия Сейчас: 18th July 2025 - 16:10
Рейтинг@Mail.ru


Страница сгенерированна за 0.01502 секунд с 7
ELECTRONIX ©2004-2016