реклама на сайте
подробности

 
 
> Быстрое сжатие без потерь, реализация в FPGA
RobFPGA
сообщение Feb 14 2008, 00:34
Сообщение #1


Профессионал
*****

Группа: Свой
Сообщений: 1 214
Регистрация: 23-12-04
Пользователь №: 1 643



Приветствую!

Озадачили меня вот такой задачкой

Требуется в реалтайме, без потерь, ужать поток данных с двухканального АЦП с 250 Mb/sec
хотя бы до 200 Mb/sec. Так как на плате узкое место - PCI контроллер имеет максимум 240 Mb/sec.
Проблема усугубляется тем что сами данные - "музыка звездного неба" даные радиотелескопа с полосой 8-30 MHz (частота оцифровки 62 МНz).

Из доступных ресурсов - часть Virtex4, DSP 6416 плюс RAM на 2 секунды полета.

Беглый обзор вариантов компресии определенности не принес.
Подскажите - в какую сторону копать. Есть ли где примеры (реализации) подобного.

Удачи! Rob.
Go to the top of the page
 
+Quote Post
 
Start new topic
Ответов
DS
сообщение Feb 15 2008, 23:03
Сообщение #2


Гуру
******

Группа: СуперМодераторы
Сообщений: 3 096
Регистрация: 16-01-06
Из: Москва
Пользователь №: 13 250



Да нельзя сжимать данные с радиотелескопов, ускорителей и т.п. Поскольку ищутся обычно сигналы и события с неизвестными заранее характеристиками. Поэтому исходно они неотличимы от шума с точки зрения любого алгоритма, а шум, как известно, не жмется.
Вон с БАКа из ЦЕРНа по всей Европе волокна растягивают для передачи СЫРЫХ данных в различные научные центры, а уж казалось бы чего - проще - взял да и пожал, почистил от случайных событий ...
Другое дело, если надо выделить конкретное что-то типа Вашего пульсара - тогда можно и в миллион раз пожать без потери информации - обычно характеристик сигнала весьма немного.


--------------------
Не бойтесь тюрьмы, не бойтесь сумы, не бойтесь мора и глада, а бойтесь единственно только того, кто скажет - "Я знаю как надо". А. Галич.
Go to the top of the page
 
+Quote Post
Stanislav
сообщение Feb 16 2008, 00:25
Сообщение #3


Гуру
******

Группа: Свой
Сообщений: 4 363
Регистрация: 13-05-05
Из: Москва
Пользователь №: 4 987



Цитата(DS @ Feb 16 2008, 02:03) *
Да нельзя сжимать данные с радиотелескопов, ускорителей и т.п.
Простите, напомню: в теме идёт речь о "сжатии" данных без каких-либо потерь информации.
Всё написанное здесь "около того" есть ничто иное, как словесный спам.
Кто сказал, что эти данные нельзя жать, например, зипом? 07.gif
Только этот способ коряв, потому, что далёк от оптимума.

Цитата(DS @ Feb 16 2008, 02:03) *
...Поскольку ищутся обычно сигналы и события с неизвестными заранее характеристиками.
Если так, характеристики можно оценить адаптивно; выбирать придётся только метод, исходя из априорных сведений о структуре сигнала.
Если автор темы соизволит выложить файлы данных (лучче несколько реализаций, не менее миллиона отсчётов каждая, чтоб вопросов потом не возникало), смогу продемонстрировать, как примерно это надо делать.
Цитата(DS @ Feb 16 2008, 02:03) *
...Поэтому исходно они неотличимы от шума с точки зрения любого алгоритма,
Кто это сказал? Почему данные именно неотличимы от шума? Я на картинках вижу прямо противоположное.
Цитата(DS @ Feb 16 2008, 02:03) *
...а шум, как известно, не жмется.
Шум, кстати, жмётся лучше всего. smile.gif Например, белый гауссовский шум определяется только одним своим параметром - спектральной плотностью мощности, так, как не несёт больше никакой информации. smile.gif

Цитата(DS @ Feb 16 2008, 02:03) *
...Вон с БАКа из ЦЕРНа по всей Европе волокна растягивают для передачи СЫРЫХ данных в различные научные центры, а уж казалось бы чего - проще - взял да и пожал, почистил от случайных событий ...
И что из того? И почему что-то обязательно нужно "чистить от случайных событий"?
Пусть изгаляются, если хотят. В данной теме речь идёт вовсе не об этом.
Кроме того, при малых отношениях С/Ш сжималки становятся малоэффективными. Здесь опять же не тот случай, а как там в ЦЕРНе - не интересовался.

Цитата(DS @ Feb 16 2008, 02:03) *
...Другое дело, если надо выделить конкретное что-то типа Вашего пульсара - тогда можно и в миллион раз пожать без потери информации - обычно характеристик сигнала весьма немного.
Смысл любой хорошей сжималки заключается в том, чтобы представить статистические закономерности исследуемого процесса параметрически.


--------------------
Самонадеянность слепа. Сомнения - спутник разума. (с)
Go to the top of the page
 
+Quote Post

Сообщений в этой теме
- RobFPGA   Быстрое сжатие без потерь   Feb 14 2008, 00:34
- - eugen_pcad_ru   Рекомендую: Попробуйте сжать такой объем данных в ...   Feb 14 2008, 06:14
- - slog   А не проще PCI заменить на PCI-E?   Feb 14 2008, 06:33
|- - DmitryR   Что-то у меня арифметика не сходится: частота оциф...   Feb 14 2008, 06:53
- - litv   Сжатие же нужно ГАРАнтированное. Вдруг данные прим...   Feb 14 2008, 06:54
- - Евгений Николаев   Как Вам такой вариант? (работает для гладких сигна...   Feb 14 2008, 06:56
|- - eugen_pcad_ru   Степень сжатия в существенной степени зависит от с...   Feb 14 2008, 07:06
- - Fat Robot   Ответ рабоче-крестьянский (отталкиваясь от аппарат...   Feb 14 2008, 07:53
- - RobFPGA   Приветствую! Спасибо всем! Немного уточн...   Feb 14 2008, 10:42
|- - DmitryR   Цитата(RobFPGA @ Feb 14 2008, 13:42) Анал...   Feb 14 2008, 11:44
|- - fontp   Цитата(RobFPGA @ Feb 14 2008, 13:42) Прив...   Feb 14 2008, 11:59
- - Евгений Николаев   Если шумы узкополосные, то имеет смысл заложить 3-...   Feb 14 2008, 11:47
- - AsJohnAs   Ну я присоеденюсь ко всему выше сказанному. Если с...   Feb 14 2008, 11:52
- - DmitryR   Цитата(RobFPGA @ Feb 14 2008, 03:34) Треб...   Feb 14 2008, 12:09
|- - RobFPGA   Цитата(DmitryR @ Feb 14 2008, 14:09) Тут ...   Feb 14 2008, 14:07
|- - DmitryR   Возьмите Virtex-5 LXT или ArriaGX, там есть PCIe н...   Feb 14 2008, 16:08
|- - RobFPGA   Цитата(DmitryR @ Feb 14 2008, 18:08) Возь...   Feb 14 2008, 16:53
|- - DmitryR   Цитата(RobFPGA @ Feb 14 2008, 19:53) Плат...   Feb 15 2008, 08:34
- - GetSmart   ИМХО раз полезный сигнал шумоподобный и малой ампл...   Feb 14 2008, 12:13
- - blackfin   ИМХО, сжатие без потерь с использованием вейвлетов...   Feb 14 2008, 15:19
- - GetSmart   Всё-таки, можно взглянуть на чистые данные? Прикре...   Feb 15 2008, 08:50
- - Stanislav   М-да, насоветовали вагон и тележку. Между тем, ни ...   Feb 15 2008, 10:06
|- - blackfin   Цитата(Stanislav @ Feb 15 2008, 13:06) Оч...   Feb 15 2008, 11:07
||- - Stanislav   Цитата(blackfin @ Feb 15 2008, 14:07) Да ...   Feb 15 2008, 11:35
||- - blackfin   Цитата(Stanislav @ Feb 15 2008, 14:35) Ст...   Feb 15 2008, 11:39
|||- - Stanislav   Цитата(blackfin @ Feb 15 2008, 14:39) Не ...   Feb 15 2008, 13:11
|||- - fontp   Цитата(Stanislav @ Feb 15 2008, 16:11) А ...   Feb 15 2008, 13:27
|||- - Stanislav   Цитата(fontp @ Feb 15 2008, 16:27) Неплох...   Feb 15 2008, 13:36
|||- - fontp   Цитата(Stanislav @ Feb 15 2008, 16:36) Ск...   Feb 15 2008, 14:13
|||- - Stanislav   Цитата(fontp @ Feb 15 2008, 17:13) 1) Так...   Feb 15 2008, 22:10
||- - fontp   Цитата(Stanislav @ Feb 15 2008, 14:35) ...   Feb 15 2008, 11:40
||- - blackfin   Цитата(fontp @ Feb 15 2008, 14:40) Но ско...   Feb 15 2008, 11:46
||- - fontp   Цитата(blackfin @ Feb 15 2008, 14:46) ИМХ...   Feb 15 2008, 12:02
||- - blackfin   Цитата(fontp @ Feb 15 2008, 15:02) A в од...   Feb 15 2008, 12:29
|- - DmitryR   Цитата(Stanislav @ Feb 15 2008, 13:06) Да...   Feb 15 2008, 12:11
- - Designer56   ЦитатаЧтобы "сжать" сигнал, нужно знать ...   Feb 15 2008, 10:14
|- - Stanislav   Цитата(Designer56 @ Feb 15 2008, 13:14) С...   Feb 15 2008, 10:55
- - eugen_pcad_ru   2RobFPGA: расширяйте горло: Большие умы просто не ...   Feb 15 2008, 11:00
- - rv3dll(lex)   судя по картинке в 2 раза можно сжать используя де...   Feb 15 2008, 12:30
|- - DS   Цитата(Stanislav @ Feb 16 2008, 03:25) Пр...   Feb 16 2008, 08:35
|- - Stanislav   Цитата(DS @ Feb 16 2008, 11:35) Так в пре...   Feb 16 2008, 10:20
- - GetSmart   Сильно сумневаюсь, что на скорости входных данных ...   Feb 16 2008, 00:42
|- - Stanislav   Цитата(GetSmart @ Feb 16 2008, 03:42) Сил...   Feb 16 2008, 00:52
- - GetSmart   Цитата(Stanislav)Кроме того, я могу придумать Вам ...   Feb 16 2008, 01:04
|- - Stanislav   Цитата(GetSmart @ Feb 16 2008, 04:04) А я...   Feb 16 2008, 01:22
- - GetSmart   Вообще-то если АЦП оцифровывает звёздное небо, как...   Feb 16 2008, 01:40
|- - Stanislav   Цитата(GetSmart @ Feb 16 2008, 04:40) Воо...   Feb 16 2008, 02:22
- - GetSmart   Цитата(Stanislav)Ух ты! Очень интересно, как э...   Feb 16 2008, 03:39
- - GetSmart   Цитата(Stanislav)Цитата(DS @ Feb 16 2008 @ 1...   Feb 16 2008, 10:45
|- - Stanislav   Цитата(GetSmart @ Feb 16 2008, 13:45) Про...   Feb 16 2008, 12:11
- - GetSmart   Цитата(Stanislav)Спор с Вами не нахожу занятием ск...   Feb 16 2008, 12:54
- - RobFPGA   Приветствую! Уважаемые коллеги! Я и не ож...   Feb 16 2008, 13:49
- - GetSmart   Цитата(RobFPGA)Мною был быстро попробован простейш...   Feb 16 2008, 14:04
- - Евгений Николаев   RobFPGA, скажите - а насколько стабильна "пом...   Feb 18 2008, 06:36
- - rv3dll(lex)   я считаю что упираться в один алгоритм не стоит п...   Feb 18 2008, 08:50
|- - dinam   Вот здесь попробуйте спросить. Много чего интересн...   Feb 18 2008, 09:56
- - rv3dll(lex)   подскажу ещё вариантик по дельте сам всё пробовал ...   Feb 18 2008, 13:07
- - DS   А не правильнее ли здесь сторговаться с астрономам...   Feb 18 2008, 20:40
|- - Stanislav   Цитата(DS @ Feb 18 2008, 23:40) А не прав...   Feb 18 2008, 21:18
|- - DS   Цитата(Stanislav @ Feb 19 2008, 00:18) Ду...   Feb 18 2008, 21:26
|- - Stanislav   Цитата(DS @ Feb 19 2008, 00:26) Да если п...   Feb 18 2008, 21:35
- - RobFPGA   Приветствую! Спектр от 0 до 8 MHz действитель...   Feb 18 2008, 22:20
|- - rv3dll(lex)   Цитата(RobFPGA @ Feb 19 2008, 01:20) Прив...   Feb 19 2008, 05:25
|- - DS   Цитата(RobFPGA @ Feb 19 2008, 01:20) Прив...   Feb 19 2008, 07:21
|- - rv3dll(lex)   Цитата(DS @ Feb 19 2008, 10:21) Так почем...   Feb 19 2008, 07:31
- - Stanislav   Цитата(DS @ Feb 19 2008, 10:21) Так почем...   Feb 19 2008, 08:26
|- - rv3dll(lex)   Цитата(Stanislav @ Feb 19 2008, 11:26) Ка...   Feb 19 2008, 09:26
|- - DS   Цитата(Stanislav @ Feb 19 2008, 11:26) Си...   Feb 19 2008, 10:53
- - GetSmart   А интересно, в данный момент FFT работает в рилтай...   Feb 19 2008, 09:19
- - GetSmart   То есть на 44 МГц можно оцифровать 30 МГц без поте...   Feb 19 2008, 11:02
|- - Stanislav   Цитата(DS @ Feb 19 2008, 13:53) А я что, ...   Feb 19 2008, 11:11
- - GetSmart   ЦитатаРекомендую некоторым неучам хотя бы раскрыть...   Feb 19 2008, 11:16
|- - Stanislav   Цитата(GetSmart @ Feb 19 2008, 14:16) Мож...   Feb 19 2008, 15:39
|- - rv3dll(lex)   Цитата(Stanislav @ Feb 19 2008, 18:39) Пр...   Feb 20 2008, 05:20
- - rv3dll(lex)   перенос целостного спектра с 8-30 на 0-22 оцифровк...   Feb 19 2008, 11:39
|- - fontp   Цитата(rv3dll(lex) @ Feb 19 2008, 14...   Feb 19 2008, 12:20
- - GetSmart   Цитата(rv3dll(lex))только чтото я про 44 мгцне пон...   Feb 19 2008, 11:52
|- - rv3dll(lex)   Цитата(GetSmart @ Feb 19 2008, 14:52) Ник...   Feb 19 2008, 12:27
|- - fontp   Цитата(rv3dll(lex) @ Feb 19 2008, 15...   Feb 19 2008, 12:51
|- - rv3dll(lex)   Цитата(fontp @ Feb 19 2008, 15:51) ну пус...   Feb 19 2008, 13:14
- - GetSmart   Люди! Я вас уверяю, что точность исказится...   Feb 19 2008, 12:33
- - GetSmart   ИМХО при сдвиге спектра какого-либо сигнала энерги...   Feb 19 2008, 12:52
- - RobFPGA   Приветствую! Любой перенос частот с последующ...   Feb 19 2008, 15:01
|- - DS   Цитата(RobFPGA @ Feb 19 2008, 18:01) Прив...   Feb 19 2008, 15:51
|- - Stanislav   Цитата(RobFPGA @ Feb 19 2008, 18:01) Любо...   Feb 19 2008, 16:02
|- - blackfin   Цитата(RobFPGA @ Feb 19 2008, 18:01) ...а...   Feb 19 2008, 16:30
|- - Stanislav   Цитата(blackfin @ Feb 19 2008, 19:30) Чуд...   Feb 19 2008, 16:33
- - RobFPGA   Приветствую! Я сам постобработкой не занимаю...   Feb 19 2008, 16:26
|- - Stanislav   Цитата(RobFPGA @ Feb 19 2008, 19:26) Я са...   Feb 19 2008, 17:00
- - GetSmart   Цитата(Stanislav)Э-э, извиняюсь... Стомиллионноточ...   Feb 19 2008, 16:44
|- - Stanislav   Цитата(GetSmart @ Feb 19 2008, 19:44) Ну ...   Feb 19 2008, 18:35
- - RobFPGA   Приветствую! В данном случае DSP почти ничег...   Feb 19 2008, 16:59
|- - blackfin   Цитата(RobFPGA @ Feb 19 2008, 19:59) В да...   Feb 19 2008, 17:07
- - RobFPGA   Приветствую! Я брал готовую плату с PLX контр...   Feb 19 2008, 17:26
- - vetal   2 Stanislav и GetSmart: Нарушение правил п.2.1а.   Feb 19 2008, 19:34
- - GetSmart   Из-за того, что кто-то не умеет своё самомнение де...   Feb 21 2008, 04:03
|- - rv3dll(lex)   Цитата(GetSmart @ Feb 21 2008, 07:03) Из-...   Feb 21 2008, 05:39
- - rv3dll(lex)   зато есть возможность подумать и посчитать ждём от...   Feb 21 2008, 08:19
2 страниц V   1 2 >


Reply to this topicStart new topic
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0

 


RSS Текстовая версия Сейчас: 10th July 2025 - 05:59
Рейтинг@Mail.ru


Страница сгенерированна за 0.015 секунд с 7
ELECTRONIX ©2004-2016