A в одномерном сигнале отсутствуют те корреляции или они становятся очень "дальними"
Сжатие без потерь основывается только на статистических неоднородностях.

Дальше в полосу PCIe 4x (а дешевые микросхемы содержат именно 4 трансивера) необходимый траффик в 250 мегабайт/с укладывается с четверным запасом, а что с ним делать на той стороне проблемой автора топика по его словам не является.

Как бы то ни было, в JPEG2000 сжатие по строкам и по столбцам выполняется независимо друг от друга. Ессно, при двумерном сжатии общий коэффициент сжатия будет выше: Kобщ=Kx*Ky.

судя по картинке в 2 раза можно сжать используя дельто сжатие с переходом в полноразмерное

16 бит сжать до байта используя числа от -127 до 127

если сжать не получается - приращение больше резервируется -0 и последующий несжимаемый участок потом опять -0 и пошла дельта
вообще аппаратных затрат нет. и работает на лету

Простите, но вы предлагаете конкретный способ, не удосужившись получить даже реализацию сигнала. Ваш подход - волюнтаризм чистой воды, а совет - вреден.

Даже пытаться не буду.
Лучше поведайте, кто Вам сказал, что это вообще возможно?

ЗЫ. Ах, да. В википедию-то я и забыл заглянуть...


А зачем нужны вэйвлеты, может, Вы поясните тёмному? ;)

Ой, мамО... А может, не надо так-то, сплеча? Иначе объём данных увеличить рискуете.

Неплохая картинка должна сжиматься методами, предназначеными для изображений.
В частности JPEG2000, вообще любыми двумерными, которые сжимают линии любой ориентации.
В JPEG2000 есть сжатие без потерь, почему не попробовать?

Другое дело, что картинка получена скорее всего вторичной обработкой и никто не захочет проделывать эту обработку на борту телескопа. А в исходном представлении сигнала корреляции не проявляются

Скажите, а почему вэйвлеты используются для сжатия именно изображений?

Иными словами, соответствие входной и выходной информации после кодека обеспечивается с точностью до бита, я правильно понял?

Что значит "не проявляются"?

ЗЫ. Можно, конечно, подобно слепым щенятам, тыкаться в разные стороны и подбирать способ сжатия методом проб и ошибок. Только, может так статься, что для решения задачи не хватит и целой жизни.

1) Так оказалось. Кодирование сигналов разной природы всегда строилось на том, что сделать некое преобразование обнаруживающее некоторые статистические аномалии присущие сигналам данной природы + провести энтропийное кодирование. Перепробовали много всяких преобразований, все известные перепробовали (учёные как шакалы!), вейвлеты дали лучший результат для изображений. Для звука не дали :-)

2) Ну да. Без потерь - без маскирующей или психофизической ерунды
3) Не проявляются значит в исходном представлении вероятности равномерно распределены и энтропийное кодирование не заработает

ЗЫ. Ещё раз - картинка достаточно хорошая, чтобы её кодировать методами характерными для картинок. Не морочьте мне голову. Я в прошлой жизни сам был доктор наук по обработке изображений типа Ярославского :-)

Простите, но, мне кажется, что так отвечать на прямо поставленный вопрос в технической теме не следует.

Чешуя какая-то, ещё раз простите. Может, просто не понял правильно...
Вэйвлет-разложение видеокартинки, с последующим "сжатием", в смысле информационных потерь, ничуть не лучше любого другого способа кодирования, включая косинусное, уолшево, фурье, и т.д.
ФишкА в том, что вэйвлеты некоторых видов, при использовании их в видеокодеке, порождают меньшее количество перцептуально-значимых артефактов, поскольку способны с меньшими погрешностями передавать субъективно существенные для человеческого восприятия детали.
В остальном, вэйвлет-кодирование, по сравнению с другими известными способами, имеет принципиально бОльшую величину разностной ошибки (в частности, яркостного шума по всей площади картинки). Просто дело в том, что эта ошибка человеческим мозгом "фильтруется", и не является раздражающим фактором.
Соббсно, вот и вся теория.

Дык, вопрос-то мой и был: почему?
Ответ также прост: ухо - не глаз; его не обманешь. Любые искажения им фиксируются весьма чётко.
А вэйвлеты, даже сконструированные самым хитрым образом, не соответствуют ни структуре аудио сигнала, ни механизму восприятия звука человеком (будете удивляться, но вполне адекватная модель восприятия изображения человеком уже давно существует, а звука - нет).
Поэтому, для компрессии звука используется технологии, в корне отличающиеся от таковых для изображения. Причём, поскольку механизм восприятия звука не ясен, для кодирования разных сигналов (речи, музыки) используются также совершенно разные подходы.

До бита - это значит, до бита.
Иными словами, выходной цифровой массив кодека при сравнении с исходным, не должен содержать ни одной несовпадающей единицы информации.
Смысл "сжатия без потерь" я понимаю именно в этом контексте.
Думаю, "товарисчи учёные, доценты с киндидатами" меня в этом вопросе всецело поддержат.

ЗЫ. Астрономию я очень уважаю, слежу за её успехами постоянно. Поэтому, "волюнтарисського" подхода к процессу обеспечения исследований здесь не потерплю.

А я вот, например, могу Вам сказать, прям с ходу, что степень (авто)коррелированности случайного процесса, даже так убого представленного на картинках, очень высока.
Кроме того, автокорреляционный анализ - вовсе не единственно доступный. И ещё: никакими хитрыми преобразованиями Вы не сможете, не внося отсебятины, увеличить меру наполнения сигнала информацией (ибо это есть величина диссипативная), а также степень его коррелированности...

ЗЗЫ. Меня когда-то учили: если с наскоку не можешь описать сигнал статистически, считай моменты.

Типа Губельмана, что ли?

Да нельзя сжимать данные с радиотелескопов, ускорителей и т.п. Поскольку ищутся обычно сигналы и события с неизвестными заранее характеристиками. Поэтому исходно они неотличимы от шума с точки зрения любого алгоритма, а шум, как известно, не жмется.
Вон с БАКа из ЦЕРНа по всей Европе волокна растягивают для передачи СЫРЫХ данных в различные научные центры, а уж казалось бы чего - проще - взял да и пожал, почистил от случайных событий ...
Другое дело, если надо выделить конкретное что-то типа Вашего пульсара - тогда можно и в миллион раз пожать без потери информации - обычно характеристик сигнала весьма немного.

Простите, напомню: в теме идёт речь о "сжатии" данных без каких-либо потерь информации.
Всё написанное здесь "около того" есть ничто иное, как словесный спам.
Кто сказал, что эти данные нельзя жать, например, зипом?
Только этот способ коряв, потому, что далёк от оптимума.

Если так, характеристики можно оценить адаптивно; выбирать придётся только метод, исходя из априорных сведений о структуре сигнала.
Если автор темы соизволит выложить файлы данных (лучче несколько реализаций, не менее миллиона отсчётов каждая, чтоб вопросов потом не возникало), смогу продемонстрировать, как примерно это надо делать.
Кто это сказал? Почему данные именно неотличимы от шума? Я на картинках вижу прямо противоположное.
Шум, кстати, жмётся лучше всего. Например, белый гауссовский шум определяется только одним своим параметром - спектральной плотностью мощности, так, как не несёт больше никакой информации.

И что из того? И почему что-то обязательно нужно "чистить от случайных событий"?
Пусть изгаляются, если хотят. В данной теме речь идёт вовсе не об этом.
Кроме того, при малых отношениях С/Ш сжималки становятся малоэффективными. Здесь опять же не тот случай, а как там в ЦЕРНе - не интересовался.

Смысл любой хорошей сжималки заключается в том, чтобы представить статистические закономерности исследуемого процесса параметрически.

Сильно сумневаюсь, что на скорости входных данных 250 MB/sec можно будет организовать хоть сколько-нибудь сложный алгоритм сжатия. Это к вопросу об рабочей тактовой FPGA.
Это вряд ли. Дело в том, что подобный дельта поток включается адаптивно (на уже проанализированной последовательности) в ситуации когда он однозначно уменьшает поток, иначе же он не включается.

Всё можно, если захотеть сильно.
Конечно,алгоритм "сжатия" должен учитывать возможности вычислительной техники. Поскольку для меня лично этот постулат есть "отченаш", нюансы обсуждать особенно не хочется.

А где в посте rv3dll(lex) сказано, что он именно должен быть адаптивным?
Кроме того, я могу придумать Вам последовательность, дельта-кодирование которой гарантированно будет приводить к увеличению объёма выходной информации.

А я две последовательности могу придумать, и что?
Вы вообще внимательно читаете?
В потоке используется префикс (одно зарезервированное значение) для указания перехода в режим дельта и обратно. В общем он обрисовал только идею (которая и у меня при чтении топика сразу же возникла), которую уже нужно детально проработать на реальных данных, которые зажал автор темы

Сообщение отредактировал GetSmart - Feb 16 2008, 01:05

Отлично.
Не понимаю, как Вы это себе представляете?
Если идёт речь о зажатии спектрограммы, рекомендую Вам прочитать внимательнее Ваш же пост:Надеюсь, он внесёт в Ваше видение проблемы некоторую ясность.
Если идёт речь о дельта-зажатии непрерывно поступающего сигнала, тогда Ваши дела - и вовсе швах. Потому, как это плохо даже теоретически.
Идеи, вообще-то, должны соответствовать реальной действительности...