реклама на сайте
подробности

 
 
9 страниц V  < 1 2 3 4 > »   
Reply to this topicStart new topic
> Быстрое сжатие без потерь, реализация в FPGA
RobFPGA
сообщение Feb 14 2008, 14:07
Сообщение #16


Профессионал
*****

Группа: Свой
Сообщений: 1 214
Регистрация: 23-12-04
Пользователь №: 1 643



Цитата(DmitryR @ Feb 14 2008, 14:09) *
Тут вы перепутали мегабиты с мегабайтами (Mb - мегабит, MB - мегабайт). И в этом свете есть еще вопрос - у 32-х разрадного PCI на 33 МГц полоса примерно гигабод. У вас же заявлено два гигабода (240 мегабайт/с ~ 2 Гбит/с)- это либо 64 разряда, либо 66 МГц. И в этом случае переход на PCIe не кажется таким уж дорогим.

Интерфейс на плате -PCIX - 64 бит 66 MHz теоретически позволяет ~500 MB/sec.
Но - контроллер PCI PLX9656 - имеет узкое горло - локальную шину данных - 32 бит/66 MHz sad.gif

По поводу режекции - это уже есть , но для другого режима. Здесь же Спецефичный умище радиоастрономов требует - давай все что влазит в диндиапазон АЦП на входе. Вдруг ты всякими фильтрами/преобразованиями задавиш нобелевскую премиию летевшую к нам милиарды световых лет smile.gif .

Вот пример типичного спектра сигнала (правда немного усредненого smile.gif и то как это выглядит во времени при выравнивании тренда. Тонкая наклонная линия справа - сигнал пульсара гдето с края Млечного пути.


Успехов! Rob.
Прикрепленное изображение
Прикрепленное изображение
Go to the top of the page
 
+Quote Post
blackfin
сообщение Feb 14 2008, 15:19
Сообщение #17


Гуру
******

Группа: Свой
Сообщений: 3 106
Регистрация: 18-04-05
Пользователь №: 4 261



ИМХО, сжатие без потерь с использованием вейвлетов: Теория и практика вейвлет-преобразования.
Go to the top of the page
 
+Quote Post
DmitryR
сообщение Feb 14 2008, 16:08
Сообщение #18


Профессионал
*****

Группа: Свой
Сообщений: 1 535
Регистрация: 20-02-05
Из: Siegen
Пользователь №: 2 770



Возьмите Virtex-5 LXT или ArriaGX, там есть PCIe недорого. А вам и надо-то всего что захватить сигнал и послать - то есть минимальная микруха. ArriaGX самая дешевая стоит $100 уже в России, XC5VLX20T - долларов 300 наверное.

Интересно еще вот что: допустим, плату вы сделаете. Куда вы денете физически столько необработанных данных? Чтобы записать 250 мегабайт в секунду надо иметь большой дисковый массив (как я знаю, современные жесткие диски дают физически 50 мегабайт в секунду), и то терабайта хватит на час. А если запись идет импульсами - то можно поставить вокруг FPGA несколько гигов памяти, буферировать данные а потом спокойно сливать.
Go to the top of the page
 
+Quote Post
RobFPGA
сообщение Feb 14 2008, 16:53
Сообщение #19


Профессионал
*****

Группа: Свой
Сообщений: 1 214
Регистрация: 23-12-04
Пользователь №: 1 643



Цитата(DmitryR @ Feb 14 2008, 18:08) *
Возьмите Virtex-5 LXT или ArriaGX, там есть PCIe недорого. А вам и надо-то всего что захватить сигнал и послать - то есть минимальная микруха. ArriaGX самая дешевая стоит $100 уже в России, XC5VLX20T - долларов 300 наверное.

Интересно еще вот что: допустим, плату вы сделаете. Куда вы денете физически столько необработанных данных? Чтобы записать 250 мегабайт в секунду надо иметь большой дисковый массив (как я знаю, современные жесткие диски дают физически 50 мегабайт в секунду), и то терабайта хватит на час. А если запись идет импульсами - то можно поставить вокруг FPGA несколько гигов памяти, буферировать данные а потом спокойно сливать.

Плата такая ка есть уже есть - тут уж ничего не поделаеш. Сейчас позволяет вводить непрерывно данные со скоростью до 180 MB/sec (+резерв при модификации). А два канала пишутся импусно пакетами по 5 сек, с паузами в 7 сек для очистки буферов. (Вот в эти то паузы и пролетает нобель smile.gif )
Записывается все это на raid 0 массив винтов 2-4 винта Seagate 750 Гиг. Максимальное время непрерывной записи raw дата было около 150 мин, так что память на плате только для буферизации коротких тормозов системы. В течении ночи винты забиваются в разных режимах на 3/4, а потом днем народ все это пакует и переписывает кто - куда. Что потом с этой тучей гиг делают радиоастрономы - самая большая тайна Вселенной smile.gif над разгадкой котороой они же и работают biggrin.gif !
Успехов! Rob.
Go to the top of the page
 
+Quote Post
DmitryR
сообщение Feb 15 2008, 08:34
Сообщение #20


Профессионал
*****

Группа: Свой
Сообщений: 1 535
Регистрация: 20-02-05
Из: Siegen
Пользователь №: 2 770



Цитата(RobFPGA @ Feb 14 2008, 19:53) *
Плата такая ка есть уже есть - тут уж ничего не поделаеш.

Можно поделать новую плату. Заодно все-таки реализовать на ней некую, хотя бы предварительную обработку (не визуально же астрономы эти данные отсматривают?). Иначе не получится непрерывного мониторинга: все равно придется делать паузу на очистку дискового массива.
Go to the top of the page
 
+Quote Post
GetSmart
сообщение Feb 15 2008, 08:50
Сообщение #21


.
******

Группа: Участник
Сообщений: 4 005
Регистрация: 3-05-06
Из: Россия
Пользователь №: 16 753



Всё-таки, можно взглянуть на чистые данные? Прикрепите файлик небольшой.

Там всего-то надо передавать вместо 16-битных сэмплов 12-битные. Судя по графику 95% времени сигнал имеет как раз неопределённость 12-13 бит.


--------------------
Заблуждаться - Ваше законное право :-)
Go to the top of the page
 
+Quote Post
Stanislav
сообщение Feb 15 2008, 10:06
Сообщение #22


Гуру
******

Группа: Свой
Сообщений: 4 363
Регистрация: 13-05-05
Из: Москва
Пользователь №: 4 987



М-да, насоветовали вагон и тележку. Между тем, ни одного сколько-нибудь стоящего предложения, не считая откровенных глупостей.
Единственную разумную вещь предложил GetSmart - выложите реализацию сигнала в какой-нить файлообменник. Думается, не менее 100 кБайт и не более 10 Мбайт, чтобы с ним можно было поработать.
Чтобы "сжать" сигнал, нужно знать его статистику. Ибо сжатие - это ни что иное, как устранение избыточности. Нахождение закономерностей в сигнале и их формализация, соббсно, и означает решение задачи "сжатия".
Универсальные компрессоры данных в решениях таких задач весьма далеки от оптимума, так что на их результаты ориентироваться нельзя.
На первый взгляд, сигнал с приведённым спектром задавить без потерь можно весьма сильно (в разЫ, думается).
Телегу впереди лошади же ставить не нужно. Об FPGA или ещё каком-нить там супер-пупер DSP следует думать в последнюю очередь.

Цитата(blackfin @ Feb 14 2008, 18:19) *
ИМХО, сжатие без потерь с использованием вейвлетов: Теория и практика вейвлет-преобразования.
Очень интересно, как Вы себе это представляете?

Цитата(DmitryR @ Feb 14 2008, 19:08) *
Возьмите Virtex-5 LXT или ArriaGX, там есть PCIe недорого. А вам и надо-то всего что захватить сигнал и послать - то есть минимальная микруха. ArriaGX самая дешевая стоит $100 уже в России, XC5VLX20T - долларов 300 наверное.

Да нефиг делать. Дальше что предлагаете?


--------------------
Самонадеянность слепа. Сомнения - спутник разума. (с)
Go to the top of the page
 
+Quote Post
Designer56
сообщение Feb 15 2008, 10:14
Сообщение #23


Гуру
******

Группа: Свой
Сообщений: 2 932
Регистрация: 13-10-06
Из: Уфа
Пользователь №: 21 290



Цитата
Чтобы "сжать" сигнал, нужно знать его статистику. Ибо сжатие - это ни что иное, как устранение избыточности. Нахождение закономерностей в сигнале и их формализация, соббсно, и означает решение задачи "сжатия".
Универсальные компрессоры данных в решениях таких задач весьма далеки от оптимума, так что на их результаты ориентироваться нельзя.
На первый взгляд, сигнал с приведённым спектром задавить без потерь можно весьма сильно (в разЫ, думается).

Совершенно верно, но сначала нужно для себя решить- что есть избыточность для данного сигнала (или классов сигналов). А просто так, сжать что-либо без потерь в абсолютном смысле слова невозможно.


--------------------
"...Дьяволу ведомо многое не потому, что он- Дьявол, а потому, что он стар..."
Go to the top of the page
 
+Quote Post
Stanislav
сообщение Feb 15 2008, 10:55
Сообщение #24


Гуру
******

Группа: Свой
Сообщений: 4 363
Регистрация: 13-05-05
Из: Москва
Пользователь №: 4 987



Цитата(Designer56 @ Feb 15 2008, 13:14) *
Совершенно верно, но сначала нужно для себя решить- что есть избыточность для данного сигнала (или классов сигналов)...
Пытаться априорно решать, что есть избыточность, особенно не нужно. Статистический анализ это покажет, независимо от наших предпочтений.
Сигнал с приведённым спектром, например, даже невооружённым глазом определяется как сильно избыточный - в нём присутствуют мощные (квази)гармонические составляющие. Между тем, представив их параметрически (частота+амплитуда+фаза), удастся "сэкономить" несколько разрядов данных.
Это всё "на пальцах"; если работать с сигналом серьёзно, можно найти и другие закономерности. Будучи представленными в виде набора параметров, они позволят "сжать" сигнал ещё и дополнительно, совершенно без потерь, если уж так задача ставится.

Цитата(Designer56 @ Feb 15 2008, 13:14) *
...А просто так, сжать что-либо без потерь в абсолютном смысле слова невозможно.
Я бы перефразировал так: нет ни одного реального сигнала, который не содержал бы в себе закономерностей, и не мог быть "сжат".
Противное означало бы отсутствие в сигнале какой-либо информации вообще. smile.gif


--------------------
Самонадеянность слепа. Сомнения - спутник разума. (с)
Go to the top of the page
 
+Quote Post
eugen_pcad_ru
сообщение Feb 15 2008, 11:00
Сообщение #25


Знающий
****

Группа: Свой
Сообщений: 642
Регистрация: 15-11-07
Пользователь №: 32 353



2RobFPGA: расширяйте горло: Большие умы просто не захотят НИКАКИХ манипуляций с сигналом


--------------------
Правильно сформулированый вопрос содержит в себе половину ответа.
P.S.: Некоторые модераторы в качестве ответа так навязчиво предлагают посетить свой сайт, что иначе как саморекламу такие действия интерпретировать сложно.
Go to the top of the page
 
+Quote Post
blackfin
сообщение Feb 15 2008, 11:07
Сообщение #26


Гуру
******

Группа: Свой
Сообщений: 3 106
Регистрация: 18-04-05
Пользователь №: 4 261



Цитата(Stanislav @ Feb 15 2008, 13:06) *
Очень интересно, как Вы себе это представляете?
Да примерно так же, как это представляет себе стандарт JPEG2000, с использованием биортогонального фильтра Добеши с целочисленными коэффициентами (5, 3) для сжатия без потерь и адаптивного арифметического кодера.
Go to the top of the page
 
+Quote Post
Stanislav
сообщение Feb 15 2008, 11:35
Сообщение #27


Гуру
******

Группа: Свой
Сообщений: 4 363
Регистрация: 13-05-05
Из: Москва
Пользователь №: 4 987



Цитата(blackfin @ Feb 15 2008, 14:07) *
Да примерно так же, как это представляет себе стандарт JPEG2000, с использованием биортогонального фильтра Добеши с целочисленными коэффициентами (5, 3) для сжатия без потерь и адаптивного арифметического кодера.
lol.gif
Стало быть, Вы утверждаете, что истинно универсальный метод сжатия чего угодно с помощью чудесных свойств вэйвлетов таки найден, и называется он jpeg2000? biggrin.gif biggrin.gif biggrin.gif
Попробуйте таким образом сжать видео без потерь, а я потом посмотрю, что у Вас получится. wink.gif


--------------------
Самонадеянность слепа. Сомнения - спутник разума. (с)
Go to the top of the page
 
+Quote Post
blackfin
сообщение Feb 15 2008, 11:39
Сообщение #28


Гуру
******

Группа: Свой
Сообщений: 3 106
Регистрация: 18-04-05
Пользователь №: 4 261



Цитата(Stanislav @ Feb 15 2008, 14:35) *
Стало быть, Вы утверждаете, что истинно универсальный метод сжатия чего угодно с помощью чудесных свойств вэйвлетов таки найден, и называется он jpeg2000?
Не приписывайте мне то, чего я не говорил.. smile.gif
Цитата(Stanislav @ Feb 15 2008, 14:35) *
Попробуйте таким образом сжать видео без потерь, а я потом посмотрю, что у Вас получится. wink.gif
Сами попробуйте.. Мне это не нужно.. biggrin.gif
Go to the top of the page
 
+Quote Post
fontp
сообщение Feb 15 2008, 11:40
Сообщение #29


Эксперт
*****

Группа: Свой
Сообщений: 1 467
Регистрация: 25-06-04
Пользователь №: 183



Цитата(Stanislav @ Feb 15 2008, 14:35) *
lol.gif
Стало быть, Вы утверждаете, что истинно универсальный метод сжатия чего угодно с помощью чудесных свойств вэйвлетов таки найден, и называется он jpeg2000? biggrin.gif biggrin.gif biggrin.gif
Попробуйте таким образом сжать видео без потерь, а я потом посмотрю, что у Вас получится. wink.gif


Ну... ход мысли-то понятный. Тот имидж с треками, что выше, наводит на мысль быть сжатым без потерь jpeg2000 и всё такое... Треки эти всё таки двумерные коррелированости

Но скорее всего имидж в канал не передаётся, это результат какой-то обработки сигнала на первой картинке
Go to the top of the page
 
+Quote Post
blackfin
сообщение Feb 15 2008, 11:46
Сообщение #30


Гуру
******

Группа: Свой
Сообщений: 3 106
Регистрация: 18-04-05
Пользователь №: 4 261



Цитата(fontp @ Feb 15 2008, 14:40) *
Но скорее всего имидж в канал не передаётся, это результат какой-то обработки сигнала на первой картинке
ИМХО, ничто не мешает сжимать "одномерные изображения". Формат файла-контейнера JPEG2000 придется, конечно, "подредактировать".. ;-)
Go to the top of the page
 
+Quote Post

9 страниц V  < 1 2 3 4 > » 
Reply to this topicStart new topic
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0

 


RSS Текстовая версия Сейчас: 5th July 2025 - 20:36
Рейтинг@Mail.ru


Страница сгенерированна за 0.01524 секунд с 7
ELECTRONIX ©2004-2016