ок, спасибо

Не прошло и 3-и года... Но все-таки... А нужны именно биортогонал? Или именно jpeg2000? Или простые вейвлеты типа Хаара?

Признаюсь, что в теории вейвлетов не сильна. Но насколько я понимаю, биортогонал мне не нужен. И, вероятно, jpeg2000 тоже. Скорее всего, мне нужен классический вариант типа Хаара. Однако видимо, будет лучше, если я вам расскажу о специфике своей задачи, а уж вы в ответ сами решите, который способ мне можно рекомендовать.

У меня явно не изображения, а одномерные сигналы, приближающиеся по форме к кривой Гаусса (кривой нормального распределения). В просторечии я называю их пиками.

Значит так. АЦП измеряет напряжение на своем входе всегда с одной и той же периодичностью (обычно это 50Гц, чтобы меньше сказывались сетевые наводки). Долгое время "ничего нет", т.е. на входе присутствует некий постоянный шум или медленный дрейф ("базовая линия"). И вдруг внезапно "выходит" пик - сигнал гауссообразной формы со слегка заметным "хвостом" (задний фронт более пологий, чем передний, тогда как гауссиана полностью симметрична). Обычно за 20-60 секунд входное напряжение успевает достигнуть локального максимума, а затем снова сходит до уровня базовой линии. И так процесс продолжается от нескольких часов до суток с небольшим.

Время от времени появляющиеся пики могут иметь разную высоту, но по форме схожи, хотя не одинаковы. Со временем имеют тенденцию расширяться (растет сигма). Некоторые могут выглядеть, как "инвалиды" - более похожими на чертежный угольник, стоящий на катете (нормальный подъем, но аномально медленный спуск). Иногда эти пики друг с другом частично перекрываются, образуя частокол, как на спине у динозавра .

Соотношение времени, когда выходят пики, ко времени, когда "ничего нет", 1:1000 или даже больше. А интерес, как можно догадаться, представляют именно пики (их форма и время появления), а вовсе не базовая линия. Файл же с такой записью получается очень длинным (до десятка, а то и сотни гигабайт), когда полезной информации в нем все та же 1/1000.

Первое, что приходит в голову, - вырезать участки, содержащие пики, и хранить только эти участки, с указанием времени или номера точки, с которого тот участок начинается. Примерно так сейчас и делается. Но хотелось бы испытать и вейвлет сжатие, раз уж его так громко хвалят.

Про целочисленность алгоритма я, возможно, заикнулась зря. Если нельзя, то и не надо. Тут я имела в виду, что все замеры у меня целочисленные, т.к. их продуцирует АЦП. Но я понимаю, что в таких задачах без плавающей арифметики обойтись сложно.

Я не настаиваю на вейвлетах, но, к сожалению, не знаю ортогональных разложений, которые бы экономно аппроксимировали сумму гауссиан с центрами в разных точках.

А вам какую именно информацию можно потерять? Потому что вейвлетами сжимают с потерями.

Первое, что приходит в голову - уменьшить частоту оцифрорвки раз тах в 50-100. У гауссового пика и спектр тоже гауссов, поэтому на расстоянии в несколько сигм от средней частоты информации уже нет.

Второе, что приходит в голову - это, действительно, детектирование отсутствия пика. С фиксированным порогом, наверное.

Третье, что приходит в голову - это то, что сам пик вам нужно кодировать с минимальными потерями, так как наверняка вас интересует именно его форма. Проще всего - дифференциальное кодирование сигнала в пике плюс Хаффман, можно с фиксированной таблицей. Можно попробовать и только вторую разность сигнала кодировать Хаффманом.

Мне это известно, и я готова к тому, что будут потери. Тем не менее, мне бы хотелось аппросимировать пик псевдогауссовой формы как можно меньшим числом взаимноортогональных функций.

Например, если я сделаю Фурье-преобразование и взгляну на частотную форму, то увижу, что при гауссовом исходном сигнале продукт будет выглядеть как медленно ниспадающая экспонента. Если мне захочется сохранить 95%, а в жертву принести только 5%, то я слишком мало смогу от той экспоненты отрезать. Зато если бы мой сигнал был периодической формы, то фурье-образ оказался бы очень подходящим продуктом - небольшим (выборочным) числом членов этого ряда я могла бы легко набрать эти 95%. А вот гаусс-кривую мне сделать малой кровью не удастся - членов ряда придется брать очень много.

По моим представлениям, вейвлеты способны довольно сносно аппроксимировать гауссиану, благодаря тому, что снижают необходимость "подавления" паразиных вкладов, вдали от ее центра. Это происходит из-за того, что базисные функции вейвлета угасают сами собой с ростом расстояния, а гармоники нет. Отсюда и мои надежды на то, что для достижения 95% мне понадобиться гораздо меньше базисных функций вейвлета, чем гармоник.

P.S. Остальные ваши предложения мне не понравились , но я опасаюсь аргументировать свой отказ из-за того, что боюсь соскальзования темы в другую колею.

Фурье спадает медленно? Или у вас на самом деле сильно не Гаусс, или вы нарвались на эффект Гиббса. Если вы видите длинные хвосты, это ещё не означает, что они есть в спектре реального сигнала. Окна применяете?
Но, да, для описанных вами одиночных импульсов я бы тоже не стал рассчитывать особо на Фурье как метод сжатия.



Любое сжатие основано на сначала устранении корреляции между отсчетами, как правило, линейным преобразованием сигнала, а потом кодировании остатка - белого шума. Или его выкидывании, вместе со слабыми коэффициентами разложения. Плюс огрубление представления сильных коэффициентов, совместно с кодированием их по Хаффману. Вейвлеты - да, как базисные функции сигнала бывают полезны. Когда, например, параметр масштаба изменяется в больших пределах, и нужно всё делать быстро, без итераций. С другой стороны, нередко базисные функции для преобразования берут неортогональными, задают вообще таблично, и поиск лучшего разложения ведут перебором. У вас же, судя по описанию, параметр масштаба меняется с сохранением самоподобия сигнала в узких пределах. И частота оцифровки довольно низкая, так что перебор более чем реален. Так кто вам мешает попытаться закодировать вашу гауссову шапочку сначала той же гауссовой шапочкой, параметризованной, например?

А, кроме того, как мне кажется, полезно ещё представить себе физику процесса, формирующего сигнал, и процедуры дальнейшего анализа сигнала. Первое - чтобы понять, где именно в сигнале содержится существенная информация о процессе, которую нельзя терять при сжатии с потерями, второе - по тем же причинам. В конце концов, просто запись непонятно каким образом полученного сигнала для непонятно каких целей, причем, с непонятно какими потерями, обычно мало кому интересна.



В любом случае вам решать.

В биортогонале как раз и смысл вейвлет-преобразования.
За счет этого разложенный по частям сигнал можно точно собрать обратно.
И при этом базис JPEG2000 без потерь - самое то, так как использует целочисленную арифметику без округлений.
Другое дело, всякие там лифтинг-алгоритмы - никчему - можно просто вычислить по схеме КИХ-фильтра,
но с коэффициентами вейвлет-ядра.

!?

!!!??


!!!???

А вот здесь, можно ссылку пожалуйста...

Вот так. Поленился, не ответил сразу, а "желтая стрела" жизни стремительно ушла вперед... Итак...


Меня пугает эта Ваша готовность. Может потому сам такой уже старый, а не научился безболезненно переживать потери... Но если серьезнее то, согласен с многоуважаемым Oldring'ом, думаю Вам скорее бы подошел вот такой способ...


Эх... Этот водоворот жизни и вечный наш поиск "чего-то там, за горизонтом"... Идея на-лету... Дифференциатор запускает коррелятор в котором только одна функция (вуалая) - гауссова .


"Вейвлетов" не меньше... Особенно чем дальше материнский вейвлет от гаусовой функции тем большее количество ненулевых векторов приходится использовать, представляя сигнал как их суперпозицию. И здесь Oldring уже приуспел в пояснении...





Так и я вообще-то даже не вейвлет-падаван... Юнглинг...Где-то так... Прочел брошюру, да книжечку пролистал...


Вейвлетов огромное множество - не для всех еще нашли применение. А хвалят... Кто бы мне похвалил место где зарыт клад. Но для Вашего случая они будут действительно хороши если присутствует шум - просто вычислять, легко обнулять коэффициенты...


Хаар по идее своей целочисленный. Да и всякие там Добеши и остальные масштабировать к int не особая проблема. Но все-таки Хаар - самая простая (тривиальная) реализация(кстати потому его очень любят ПЛИСеры), и плюс целочисленность...

Вы разбили мне сердце...

Хорошо. Путь будет Хаар . А где его взять?

Кхм... Здесь.
http://ru.wikipedia.org/wiki/%D0%94%D0%B8%...%BD%D0%B8%D0%B5

Кажется мне, что можно попробовать ручками подобрать подходящую аппроксимацию. Например - два (три...) смещенных гаусса для разных пиков. Или несимметрично растянутый гаусс. Если подойдет, то и аппроксимировать таким образом.
Так как процесс медленный, то времени должно хватить. А с ресурсами - Вам виднее. Вы должны вступить в область нелинейного программирования... Экспоненты можно затабулировать.

Говеннейшая реализация... Хотя вообще-то это образовательный материал и ему незачем соответствовать каким-то иным запросам кроме наглядности...

Мне кажется, коллега в состоянии реализовать Хаара и самостоятельно по этой статье с нужной степенью качестве. Моё восхищение вызвал сам вопрос, что такое Хаар, после длительного обсуждения применимости вейвлетов для задачи.

Так я, в общем-то, и спрашивала хорошую реализацию (чтобы под МК годилась), а не ссылок на общеобразовательные ресурсы. А ситуация просто дикая - некто спрашивает про алгоритм (скажем БПФ или БВП), а его отсылают ... к Википедии. А потом тот пыхтит, пытаясь компактно все это запрограммировать. Вот и получается самострок, в котором еще ошибок можно дофига выловить.

Давайте-ка я вам дам на словах QL-алгоритм диагонализации симметричных матриц , и посмотрю как вы споро программку на С++ по моим словам накропаете, и сколько в ней будет ошибок.

Разумные люди понимают наличие разрыва между "формулками" и программной реализацией. В свое время (где-то в 60-х годах) Райнш и Уилкинсон написали "Справочник алгоритмов на языке Алгол" для матричных вычислений. А до тех пор лишь в математических журналах алгоритмы на пальцах показывали, вот дело и стояло на месте. Именно с этого момента все эти алгоритмы стали активно использоваться (коммерческие пакеты EISPACK, LINPAСK, LAPACK и т.п.). И плевать, что там алгоритмы на Алголе! Зато написано настолько понятно, что я сама до сих пор тем Справочником активно пользуюсь, потому как в современных пакетах уже не разобраться.

А у вас, я гляжу, стиль объяснения такой, чтобы только указочкой на формулки указывать и округлые общие слова говорить. Я не только по себе сужу, но и другим темам, где вы объяснения даете (например, тема "Сложение сигналов в самый узкий"). Вы уж извините меня за прямоту, но у меня сложилось впечатление, что вы сами не понимаете того, что пытаетесь объяснять другим.


Ну так и где же ваша хорошая реализация, которую я уже "три года" жду? Или вы тоже, как Oldring, будете кругами вокруг ходить, советовать мне Гугликом по интернетику поискать?


Не годится. Смещенные гауссы не образуют взаимноортогонального базиса, а я это требование озвучила с самого начала, как необходимое.