Просто скучно вас слушать. Раз уже договорились без потерь, то не надо это во всех красках расписывать.

Априорно известно, что сигнал повторяемый. Априорно известно какой диапазон он занимает. Априорно известно, что во время измерения не произойдёт "Большого взрыва", что прямо или косвенно говорит о том, что сохраняемая информация не изменится кардинально. Могут появляться всплески и прочие уникальные отличия в разные короткие моменты времени, но большую часть времени будет передаваться очень похожий сигнал на тот, который много раз передавался до этого. Именно его и можно ужать.

Причём всплески и прочие "уникальности" вероятнее всего сжимать не придётся (именно это нужно закладывать в алгоритм), то есть динамический диапазон и точность присутствие сжатия не ухудшит. Единственное ограничение - это некий предельно допустимый процент длительности таких уникальностей в общем потоке, чтобы поток не вылез за данные ему ограничения.

Спор с Вами не нахожу занятием сколь-нибудь продуктивным, поскольку весовые категории чересчур разные. Остаётся только надеяться, что со временем Вы сможете разобраться в данной проблеме, и высказывать более адекватные соображения по её существу.

А где рилтаймовый алгоритм параметрического сжатия?

Да и кому вообще интересно кто в какой весовой категории себя воображает? Если есть реальные аргументы или идеи - выкладывайте, а то я вижу много критики и мало практичных идей. Покажите нам свою весовую категорию в деле. По существу, практически пригодное, Вы сами ещё ничего не высказали.

ЗЫ. Расчитываю на Ваше внимание Обещание нужно держать!

Приветствую!

Уважаемые коллеги! Я и не ожидал что эта тема вызовет столь бурное обсуждение, порой слегка эмоциональное. Думаю более продуктивно будет снизить накал страстей и вернутся к нашим повсевдневным техническим проблемам. Спасибо Всем за высказанные идеи, которые правда не всегда соотносятся с темой и параметрами вопроса. Поэтому опят уточню состояние дел:

Есть плата PCIX 64/66 (и новую уже никто пока делать не будет так как на Большую науку выделяют маленькие деньги), поэтому вариант с PCIE был бы правильный и для меня самый легкий - но увы .

Данные для сжатия представляют собой необработанный поток с АЦП. Приведенные картинки лиш быстрый способ представить типичный спектр этих данных. Сейчас они формируются паралельно с записью сырых данных расчетом на лету 16k FFT в FPGA. Образец самих данных я смогу представить чуть позже.

Мною был быстро попробован простейший способ кодирования дельты соседних отсчетов - результат - сжатие ~5-8% что дает основание для оптимизма. В данный момент пытаюсь понять реализацию алгоритмов сжатия WavePACK и FLAC благо софтварно можно попробовать на реальных данных.

Успехов! Rob.

Ну раз простейший уже рулит, то есть все шансы сжать от полутора раз и выше тем же способом, но более продуманным. Потом ещё и разрядность АЦП можно будет бонусом поднять.

RobFPGA, скажите - а насколько стабильна "помеха" в плане частоты, амплитуды и периодичности появления?
Если стабильность достаточная, то имея FFT, Вы можете выделять большие по амплитуде компоненты параметрически и, как говорил Stanislav, передавать эту информацию в более общем виде.
Более того, Вы можете держать на борту набор таблиц для генерирования больших компонент. Причём, Вам совершенно не обязательно иметь таблицы для частой сетки частот и не надо мастерить сверхточный генератор. Для регулировки амплитуды подойдёт деление на 2, т.е. откидывание младших бит. При откидывании Вы вносите искажение =< 1 МЗР, но оно восстанавливаемое на верхнем уровне, т.к. Вы передали параметры вычитаемой компоненты и "верхний уровень" знает ваши таблицы.
Определив компоненту(ы), Вы передаёте её(их) параметры, кодируемые просто табличным номером, начальным индексом фазы и коэффициентом деления амплитуды, и начинаете с определённой фазы их "генерировать" и вычитать из реального сигнала до момента, пока по какой-либо причине (уход по фазе из-за неточности определения/генерации частоты, изменение амплитуды или частоты исходной компоненты) разностная составляющая не перестанет помещаться в меньшую разрядность.
Преимущество такого вычитания больших компонент заключается в практически полной восстанавливаемости сигнала, т.к. вычитаемая часть нам известна.
Дальше можно попытаться применить разностный метод (дельту), если в нём ещё будет потребность.

я считаю что упираться в один алгоритм не стоит

по поводу увеличения данных при дельта кодировании - если данные поделить на блоки то можно потом посмотреть что дало кодирование того или иного алгоритма на этом блоке

возможно даже с плавающим окном

всё есттественно параллельно - и потом выбрать лучший на этом блоке данных - но уже под конец

Вот здесь попробуйте спросить. Много чего интересного можно прочитать здесь

подскажу ещё вариантик по дельте
сам всё пробовал в своё время

сначала была мысль с изменяемым остатком а именно выходные данные переменной разрядности
а именно 6 - 16 бит но это не удобно потом разгребать одна ошибка в такой системе и всё нафиг

потом от этого отказался зарезервировал число по приходу которого смотрел следующий байт в котором длина несжатой части в словах - максимум 255 256 - опять же зарезервировано для просмотра до предыдущей метки
числа проходят через сжатие - это типа окна - если все они удовлетворяют байтовому приращению - записываются байтовые, если нет как только встречается превышение записываются абсолютные значения

есть некий буфер фифо в котором осуществляется анализ нескольких следующих чисел на возможность ужатия до байта

если есть такая возможность условие перехода ставится метка резервирования 4 байта из которых 3 байта никогда не повторяющаяся последовательность четвёртый длина предшествующей несжатой части

затем пишутся сжатые побайтовые до тех пор пока не возникнет ситуация превышения возможности дельты

переход туда обратно естественно тратит 2 16 ти битных слова и используется только тогда когда выгоден.

А не правильнее ли здесь сторговаться с астрономами по снижению частоты дескретизации на 20% ? Особенно, если я правильно понял, что полоса не 0 - 30 Мгц, а 8-30 Мгц. Думаю, что результат такого компромисса куда полезнее сложного сжатия.

Думаю, в этом нет необходимости.
Сдаётся, ужать входной поток с подобным спектром до озвученной величины удастся и несложными способами, которые вполне можно будет реализовать в реалтайме. Например, что-нибудь вроде регрессионных, или других адаптивных методов.
Что-либо определённое можно будет предложить только при наличии конкретных файлов с данными.

Да если под 8-30 Мгц понимается, что спектр 0 -8 неинтересен, то и без сжатия можно влезть.

Тогда полосу 0-8МГц придётся отфильтровывать с помощью ФВЧ и делать ресэмплинг. Или фильтровать на входе АЦП, а частоту дискретизации снизить.
Однако, насколько я понял, такой способ автору темы применять запретили...

Приветствую!

Спектр от 0 до 8 MHz действительно интереса не представляет. Помехи - в основном это сигналы всевозможных радиостанциий. Часть из них относительно стационарна по частоте, часть прыгает по спектру как блохи, по мощности помехи ведут себя как истинные женщины - постоянства нет никогда .

Успехов! Rob.

что то я не понимаю каким боком эти сигналы попадают в тракт
если они всёже попадают то сигналы остальной части кв диапазона 8 -30 мегагерц будут мешать ещё больше
что за антенна используется в таком широком диапазоне частот? сколько десятков квадратных километров занимает эта антенна?, какой угол ДН и чем задаётся сканирование и вообще это на земле или на спутнике

на сколько я понимаю нижний порог частоты задаётся границей пропускания ионосферы и на сколько я помню под прямым углом это больше 8 - где то около 14 мегагерц ещё от времени суток зависит, а при наклоне луча на горизонт чтото около 45 мегагерц - могу правда ошибаться вообще наверное про 8 мегагерц похоже на правду - это примерная граница изменения свойств прохождения радиоволн

Так почему бы вам не изменить аналоговую часть, так, чтобы спектр был в диапазоне 0 - 22 Мгц, или не сделать в цифре ресемплинг со сдвигом вниз на 8 Мгц? Это же не сжатие с потерями, полезные данные Вы не потеряете, зато уложитесь в канал.

Для этого понадобится перенести сигнал на высокую промежуточную - 100-200 мегагерц а потом обратно на 0-22

ещё вариант хороший фильтр 8-30 прямое преобразование с гетеродином 8 мгц и фнч 0-22

ещё вариант даже наверное самый приемлемый прямое преобразование с гетеродином 30 мегагерц правда при этом произойдёт инверсия спектра

Какие промежуточные и какие ещё гетеродины?
Братцы, может, хватит наконец ерунду писать?
Сигнал в полосе 8-30 МГц теоретически можно оцифровывать с частотой 44 и выше МГц без всяких гетеродинов.

А интересно, в данный момент FFT работает в рилтайме непрерывно или с какими-то интервалами?

каким образом предлагается перенос спектра в рамках того, что входной и выходной спектры пересекаются?????

А я что, предлагаю что-нибудь другое ?

То есть на 44 МГц можно оцифровать 30 МГц без потерь?!? Круто!

ЗЫ. Может кто-то забыл название темы.

Нет, это не к Вам относится, а к отвечавшему на Ваш пост.

Рекомендую некоторым неучам хотя бы раскрыть учебник по основам обработки сигнала.

16К?


Полоса сигнала - 22 МГц, если отбросить 8, только и всего. Взяв частоту выборки 44 МГц, формально удовлетворим критерию Найквиста.
На практике, конечно, желательно эту частоту брать побольше, т.к. фильтры идеальными сделать нельзя.

Можно я это процитирую, чтобы ненароком не удалили. Как я понимаю, вы так демонстрируете свою "весовую категорию". Ну что ж, тогда ещё и страничку сообщите, на которой это подробно описано. Причём что б было без потери точности. Мне например почему-то кажется, что если сигнал 1 МГц сдвинуть на 1 МГц назад (пускай чуть меньше), то его огибающая уже не сможет передать точно огибающую исходного сигнала.

Типа я забыл указать, что имеенно 16К, а не 1К. Вопрос был в другом.

перенос целостного спектра с 8-30 на 0-22 оцифровка и восстановление его назад в 0-22 и перенос обратно на 8-30 вроде не противоречит никаким законам

только чтото я про 44 мгцне понял

если взять в прямую и оцифровать 8-30 44мя

получим 0-22 будет суммирован с 44-22



то есть вообще всё перемешается на фиг 14-22 сложится с 30-22

Никто не говорил что на прямую. С предворительным сдвигом ессно (хотя куда уж мне до гуру)
А по-моему противоречет законам логики. И ещё закону "без потерь". Но тут вряд ли кого это интересует. Ведь если сигнал 1 МГц, то его огибающая может меняться во времени очень сильно. Если же его сдвинуть до 1 Гц, то она уже не сможет так же быстро меняться. Так что потери неизбежны.

Другими словами, если на сигнале 1 МГц модуляцией передавать сигнал 100 кбод, то на сдвинутом сигнале 1 Гц я думаю и под микроскопом будет не найти эти 100 кбод.

8-22 останется на месте, а 22-30 сползёт биениями в 0-8, где ничего нет
отфильтровать только нужно хорошо
и восстанавливать на приёме

и да и нет

вы каждый день слушаете приёмник в котором речевой спектр переносится с частоты радиопередачи на низкую 10.7м 6.5м 465к 455к 500к 215к 128к это я для примера написал ряд промежуточных частот
и ничего не происходит.

никто не говорит, что не нарушается закон модуляции - он нарушается только как
модуляция какого бы она вида не была приводит к одновременному изменению нескольких составляющих спектра и их взаимоотношение к центральной частоте вполне определённо

когда перемещаем спектр это соотношение рушится - а перемещаем обратно - восстанавливается - с ошибкой конечно изза фаз гетеродинов и доп шумов

единственное о чём стоит не забывать об отношении модулирующей частоты и несущей - хотябы в 10 раз


про ваши боды всё просто на мегагерце 100 килобод увеличат ширину канала от 900 до 1100 килогерц при индексе модуляции 1

соответственно если передвинете не на 1 мгц а на 900 кгц вниз запишете а потом восстановите и передвинете обратно ничего не изменится



ничего подобного - так как спектр выше получастоты котельникова инвертируется

Люди! Я вас уверяю, что точность исказится! Не думайте, что я такой балбес (каким мемя разрисовывает местный гуру), что не знаю про переносы спектра радиочастот. Тут автор недвусмысленно описал что ему надо.

Ещё, могу поспорить, что автору совсем нежелательно переделывать аппаратуру ради чьих-то "умных" идей. И он точно выберет цифровой алгоритм сжатия. Все, кто в это не верит - можете дальше рассказывать друг другу познания в области радиочастот

ну пусть инвертируется. Восстановить-то всё равно можно

ИМХО при сдвиге спектра какого-либо сигнала энергия модуляции распределяется неравномерно между Fс+Fг и Fс-Fг (Fс - сигнал, Fг - частота гетеродина), то есть на получившихся низких частотах будет меньше енергии, а верхние вы тут договорились отфильтровать и выбросить. Поэтому и восстановить точный вы сигнал не сможете.

нельзя так как старшая от 22 до 30 не попадёт в 0-8
а попадёт в 14-22 просуммируется там с полезным же сигналом и капут))))



из чего это следует?

если вы говорите о спектре 8-22 то это значит, что эти границы показывают полезную составляющую сигналов и когда и как вы их обрежете не имеет практического значения

то есть вас абсолютно не интересуют сигналы ниже 8 м

а вы говорите о несущей 8м и какойто несуществующей модуляции.

если даже она там есть к приеру то по эффекту прямого преобразования уверяю вас, что энергия обрезанной нижней полосы модуляции энергетически переместится в полосу выше 0 сохранив пропорции

надеюсь объяснил доходчиво

Приветствую!

Любой перенос частот с последующей фильтрацией вносит доп. искажения. Которые потом при постобработке могут непонятно как вылезти. Поэтому и просят сделать как можно проще и именно сырые данные. Например один из вариантов постобработки - взят сырые данные за часик и сделать стомилиооноточечное FFT затем домножить это на зависимость дисперсии сигнала в межзвезном прстранстве и назад IFFT - потом в результате ищут линии от далеких пульсаров.


to GetSmart в реалтайме, потоком, 16384 точечное FFT с перекрытием 50%, для двух каналов (16 бит вход, 20бит коэффициент, 30бит выход), с последующим усреднением от 2- до 1024 спектров.

to rv3dll(lex) антена имеет 150.000 M^2 более подробно - UTR-2

Успехов. Rob.

Можно; я это ещё неоднократно повторить могу.
Для начала, откройте в самом начале, и выясните, что происходит со спектром сигнала при его дискретизации.
Далее, откройте там, где говорится про теорему Котельникова (Найквиста). Эти сведения будут не менее актуальными/полезными.
Не знающих этого студентов отправляют с экзамена восвояси без дальнейших расспросов.


М-да?
А Вы о комплексной огибающей, случайно, ничего не слышали? Даже теорема такая, помнится, была.
И вообще, когда кажется, креститься нужно.


Я говорил именно про прямую.
А кто не умеет работать головой, тому приходится работать руками. Впрочем, некоторым, видимо, и мартышкин труд в радость...

А Вы в этом уверены?
У сигнала "1 МГц" огибающая не меняется вовсе, поскольку он есть гармонический.

Даже до 0 можно сдвинуть, и никакого микроскопа не потребуется.
Более того, нормальные люди только так и делают.


См. рекомендации выше.
При хорошо отфильтрованном сигнале и правильно выбранной частоте дискретизации, перекрытия спектров не будет. Дополнительных преобразований тоже никаких не потребуется.

Мамой поклянётесь? ;)


Всего делов-то: циклически сдвинуть выходные термы ДПФ.
Так нет же, гетеродины подавай...

Как раз перенос частоты с фильтрацией вносит искажения, которые понятно как вылезут, поэтому можно их будет учесть при конечной обработке. И это ведь и так сигнал после смесителя и фильтров какого-то приемника ?

Если диапазон 0-8МГц всё-таки нужен, то это верно.
Если не нужен, то неверно. Точнее, искажения можно сделать теоретически сколь угодно малыми.
Перенос частоты не нужен.

Э-э, извиняюсь... Стомиллионноточечное за часик измерения?
Вы случайно с частотой дискретизации АЦП не ошиблись? Поскольку такое ДПФ соответствует данным за время менее 2-х секунд при 62 МГц выборки.

ЗЫ. Кстати, а не проще ли в реал-тайме, во временнОй области фильтровать, без ДПФ? Не думаю, что такая зависимость описывается ста миллионами точек.

Приветствую!


Я сам постобработкой не занимаюсь поэтому могу и ошибится на пару порядков. В реалтайме такое сжатие импульса не сделаеш, тем более что процедура умножения ->IFTT может повторятся многократно для разных зависимостей дисперсии и предпологаемого расстояния до источника.


Успехов. Rob.

Чуднó.. На антенну площадью в полтора кв. километра денег нашли, а на новую плату $2000-$3000 найти не могут..


Кстати, если не секрет, для чего у Вас на плате DSP 6416?

Дык, посмотрите, в какие времена эти антенны делались. Тогда, видимо, денег хватало...

Ну щас Stanislav будет учить уму-разуму RobFPGA, а вместе с ним и астрономов, чтобы они молчали и внимательно слушали когда говорит гуру

И не только слушали, но и переделали измерительное радиочастотное устройство, плату PCIX, а так же программное обеспечение прекрасно работающей системы под гениальную идею, созревшую в светлой голове Stanislavа

Приветствую!


В данном случае DSP почти ничего не делает - в основном контрольные функции, установка параметров, EDMA для буферизации.



Успехов! Rob.

Не совсем понятно, какого импульса...
Если зависимости дисперсии представляются параметрически, "взвешивающие" фильтры сделать не составит труда. Конечно, если нужны разные зависимости, тогда можно и не в реал-тайме, а в постобработке.
Впрочем, это не так уж важно...

А... Place-Holder... Ясно.. Я бы на этом сэкономил..
А PCI-X 64/66 можно было бы в Virtex'е синтезировать

Приветствую!

Я брал готовую плату с PLX контроллером для других целей.
Потом уже возникла идея использовать ее и для этого проэкта.
Тем более первоначальный вариант был еще на Virtex2-3000,
тесно было, еле FFT впихнул, а сейчас в V4sx35 просторно и светло (пока еще).
Еслиб PCI контроллер был на FPGA то и проблем бы небыло.

Успехов. Rob.

Простите, но я обращал свой пост к RobFPGA, и общался именно с ним.
Вы можете заметить, что здесь есть посты, посвящённые и Вам.
Убедительно прошу Вас прекратить флейм и вникнуть в суть написанного именно для Вас ранее, а также последовать доброму совету воспользоваться учебником по элементарным основам обработки сигнала.

2 Stanislav и GetSmart:
Нарушение правил п.2.1а.

так я тоже могу написать )))))

частоту дискретизации в студию?????

Из-за того, что кто-то не умеет своё самомнение держать при себе нас обоих забанили.

На день.

надеюсь сегодня сдлать выводы из предоставленной за сутки частоты дескритизации
а то как то тоскливо может чего то не понимаю образоване как раз строить сигнальные тракты - аналоговые)))

зато есть возможность подумать и посчитать
ждём от станислава предложений а не пустых слов типа ......