реклама на сайте
подробности

 
 
> Сжатие потока в 100 М/Бит
Maksim
сообщение Jan 29 2005, 14:39
Сообщение #1


Частый гость
**

Группа: Свой
Сообщений: 164
Регистрация: 27-06-04
Пользователь №: 194



Кто-нибудь пробовал делать сжатие данных на скорости от 100 до 1000 Мбит/с? Какие алгоритмы используются? Или ссылки на них. Кроме V.42 bis ничего пока не нарыл sad.gif


--------------------
qwerty
Go to the top of the page
 
+Quote Post
 
Start new topic
Ответов
acex2
сообщение Feb 16 2005, 20:45
Сообщение #2


Адепт
****

Группа: Свой
Сообщений: 520
Регистрация: 15-02-05
Пользователь №: 2 656



Если содержание сжимаемых данных (т.е. мультимедиа, текст, bin и т.д.) неизвестно, то основной проблемой будет выбор алгоритма сжатия.

Из более-менее универсальных алгоритмов для высокоскоростного сжатия на аппаратном уровне больше всего подходят LZW и LZ77. Однако на одной FPGA здесь не "выехать". Так как основой и того и другого алгоритма служит быстрый поиск в динамическом словаре или в скользящем пост-окне, то лучше всего для этого задействовать внешнюю CAM (Content-Addressable Memory), благо их сейчас выпускают многие фирмы, например Cypress, ISSI, SyberLogic и др. CAM используется для поиска соответствий IP<->MAC в быстрых роутеров и обычно называются NSE (Network-Search Engine) - по этому ключевому слову их и стоит искать. Мне приходилось заниматься такими разработками и скорость сжатия можно получить вплоть до нескольких Гбит/сек для LZW и немного меньше для LZ77. Стоимость производства одной PCI платы пару лет назад получалась в пределах 150-200$. Сейчас скорее всего еще меньше, так как из-за конкуренции цены на CAM и быстрые FPGA постоянно падают.
Go to the top of the page
 
+Quote Post
Fast
сообщение Mar 31 2005, 22:01
Сообщение #3


Местный
***

Группа: Свой
Сообщений: 216
Регистрация: 31-03-05
Из: Зеленоград
Пользователь №: 3 839



acex2 дело говорит
модемное сжатие, сжатие на уровне PPP (Ван Якобсон, LZS, BSD LZW...) - все разновидности LZW. Внешняя CAM бы легла, наверное. LZ77 словарный двухпроходный - отпадает.
Я вот что подумал, может V44 попробуешь адаптировать? Я ее софтово делал - (правда декодер только) неплохая комбинация LZW и RLE, если 2-мя словами. Эффективно сжимает повторяющиеся подстроки и цепочки одинаковых символов (можно забабахать цепочки бит).
Go to the top of the page
 
+Quote Post
Maksim
сообщение Apr 10 2005, 10:28
Сообщение #4


Частый гость
**

Группа: Свой
Сообщений: 164
Регистрация: 27-06-04
Пользователь №: 194



Цитата(Fast @ Apr 1 2005, 01:01)
acex2 дело говорит
модемное сжатие, сжатие на уровне PPP (Ван Якобсон, LZS, BSD LZW...) - все разновидности LZW. Внешняя CAM бы легла, наверное. LZ77 словарный двухпроходный - отпадает.
Я вот что подумал, может  V44 попробуешь адаптировать? Я ее софтово делал - (правда декодер только) неплохая комбинация  LZW и RLE, если 2-мя словами. Эффективно сжимает повторяющиеся подстроки и цепочки одинаковых символов (можно забабахать цепочки бит).
*

А где про V44 почитать можно?


--------------------
qwerty
Go to the top of the page
 
+Quote Post

Сообщений в этой теме
- Maksim   Сжатие потока в 100 М/Бит   Jan 29 2005, 14:39
- - irum4   Цитата(Maksim @ Jan 29 2005, 17:39)Кто-нибудь...   Jan 29 2005, 15:35
|- - khach   Если сжимать в ПЛИС, то вопрос поставлен некоррект...   Feb 12 2005, 19:29
|- - Maksim   Цитата(khach @ Feb 12 2005, 22:29)Если сжимат...   Feb 12 2005, 21:18
- - Maksim   Сжимать без потерь . Данные очень разнородные, по...   Jan 29 2005, 16:03
- - jeka   Посмотри библиотечку LZO, она как раз для этого пр...   Jan 30 2005, 12:45
- - Harbour   gzip тоже должен быть не плох - тут все зависит ка...   Feb 11 2005, 08:04
|- - Maksim   Цитата(Harbour @ Feb 11 2005, 11:04)gzip тоже...   Feb 12 2005, 09:56
- - Harbour   А че за трабла - у меня altera ep1c6 с CPU nios - ...   Feb 12 2005, 11:08
|- - Maksim   Цитата(Harbour @ Feb 12 2005, 14:08)А че за т...   Feb 12 2005, 19:16
|- - Wilde   >>это типа 1ГГц выходит - FPGA должна быть д...   Mar 18 2005, 19:27
- - vovic   ЦитатаНо данные к сожалению - РАЗНАРОДНЫ Абсолютн...   Feb 14 2005, 09:40
- - jeka   если сжимать пакеты tcp/ip по отдельности, то мног...   Feb 15 2005, 20:46
- - acex2   Цитата(Maksim @ Apr 10 2005, 07:28)А где про ...   Apr 10 2005, 11:06


Reply to this topicStart new topic
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0

 


RSS Текстовая версия Сейчас: 18th July 2025 - 16:50
Рейтинг@Mail.ru


Страница сгенерированна за 0.01372 секунд с 7
ELECTRONIX ©2004-2016