Исходная постановка задачи: необходимо делать снимки с видеокамеры, и сжимать их в JPEG.

Описание планируемого железа.
Видеосигнал подается на специализированный АЦП от филипса, например на SAA7113. Выход ITU 656 YUV 4 : 2 : 2 format (8-bit), разрешение 696*560 (PAL/SECAM). АЦП на плисину. К плисине SDRAM в качестве буферного ОЗУ. Все это подключается к микроконтроллеру.

Алгоритм работы. Контроллер дает команду - "снять кадр". Плисина сама все делает, и кладет JPEG файл из этого кадра в буферное ОЗУ.

Есть вариант реализации JPEG кодера

Кодер на ПЛИС

Влазит в недорогую XC3S400-4PQ208, насколько я понял. Вот только, боюсь, денег он стоит

Что самое главное, есть отличная отладочная плата, как раз с нужной плисиной, чтобы потихоньку начать творить

Отладочная плата на Ксиле

Цена вполне разумная - 200 баксов.

ВОПРОСЫ:

1. Есть ли у кого опыт (а еще лучше, реализация) создания JPEG кодера (декодер в этом проекте не нужен)?
2. Есть ли у кого "прихватизированная" библиотека с таким кодером или его элементами?
3. Взялся ли бы кто (не бесплатно) помочь мне сотворить это чудо? Я как-то не силен во всех эти *ХДЛ, я больше по контроллерам

Я бы вам предложил решать вашу задачу на DSP , например, на Blackfine.
Имеет прямой порт для подключения кодека, ресурса хватит, с учетом того, что вам даже Real Time не нужно. Стоит дешевле чем Spartan.
Найти реализацию на "С" так же проще. Помоему даже в application что-то есть. Отлаживать - для вас понятнее.
Реализовать вашу задачу на ПЛИС - я думаю оптимистично от 3 до 6 человеко месяцев, с учетом отладки. Отлаженную реализацию с учетом таких затрат вам дешевле $10000 не продадут. Найти "на халяву" - так кто отвечать будет за работоспособность, а разобраться, проверить, отладить - так это те же самые 3-6 месяцев.

Вот, нашлось что-то готовое. Непонятно только качество.

http://opencores.nnytech.net/projects.cgi/web/video_systems/
http://opencores.nnytech.net/projects.cgi/web/jpeg/

{посмотрите тему
http://forum.electronix.ru/index.php?showtopic=2352 из ветки ищу работу}

1. Ищу (почти нашел) постоянную работу, а не одноразовую.
2. В данном случае плясать нужно от требуемого разрешения, если это охранка, с низким качеством, то можно поставить за ТВ декодером Pilips blackfin от ADI с портом PPI, и на внутренней памяти (64к) хранить картинку. При более высоком качестве blackfin+память. В аналоговом девайсе есть открытый код JPEG200 под этот процессор, наверняка конкуренты от TI тоже не отстают в данной проблеме.
3. ADI выпускает специализированный чип, который кодирует видео в JPEG2000.
4. Вы хотите просто держать данные в буфере или куда-нибудь передать?
Это также может повлиять на выбор микросхем.

1. - понятно.
2. разрешение 696*560, качетсво должно вариьроваться - это и 64 к картинка, и выше.
3. Изучается. Но eval кит больно дорого стоит. И поставка чуть ли не 14 недель.
4. В буфере держать. Его дальнейшей обработкой CPU займется. Как будет буфер организован - пока не понятно.

Спасибо за ответ - я потихоньку продвигаюсь к пониманию того, можно ли так решить задачу и нужно ли.

http://elphel.com/downloads/313_rus.html -есть исходники JPEG сжимателя. Там решена похожая задача, но мне надо несколько по другому.

Тому проекту уже больше двух лет - JPEG уже давно у всех есть - можно и настоящий видеокомпрессор в плиску впихнуть - еще и место остается - 1280х1024 - 30к/сек
http://cvs.sourceforge.net/viewcvs.py/elphel/fpga/theora/

Loading device database for application Par from file "x333_map.ncd".
"x333" is an NCD, version 2.38, device xc3s1000, package ft256, speed -4
x333.par:
...
Device utilization summary:

Number of External DIFFMs 1 out of 78 1%
Number of External DIFFSs 1 out of 79 1%
Number of External IOBs 116 out of 173 67%
Number of LOCed External IOBs 116 out of 116 100%

Number of MULT18X18s 13 out of 24 54%
Number of RAMB16s 20 out of 24 83%
Number of Slices 4789 out of 7680 62%
Number of SLICEMs 454 out of 3840 11%

Number of BUFGMUXs 7 out of 8 87%
Number of DCMs 2 out of 4 50%
...

Andrey Filippov: JPEG уже давно у всех есть

Будьте добры ткните меня носом в ссылку, где это добро находится...

По поводу Theora: интересно, а какова его эффективность по сравнению с тем же MPEG4? Дока по самому алгоритму качественная и обстоятельная, но на сайте не сильно много инфы.
http://www.theora.org/

На сайте, кстати, прикол - вверху стоит новость от 2005 January 13, что меня опечалило, но присмотревшись, я понял, что это "ачепятка"

Я своими глазами видел работу MPEG4 на разрешении CIF / 25 fps получалось что-то типа 1мбит/сек при качестве как у среднего VHS видика.

Что тут получается?

Так в любой сетевой камере. На ПЛИС - хоть www.iqinvision.com, хоть http://www.mobotix.com/ (из тех. про которые я точно знаю).

Но исходников там, конечно нет.

Нужны GPL-ные (не freeware) - берите у нас. Хотите разрабатывать/дорабатывать - пишите, для хорошего дело железок бывает не очень жалко.

Andrey Filippov

andrey . filippov <at> elphel . com




http://www.elphel.com -> Developers -> первый абзац - там два клипа. Современные дистрибутивы GNU/Linux открывают сходу (например, Kaffeine), говорят и под виндами тоже работает.

Andery Filippov

Спасибо за то, что откликнулись!

Andrey Filippov, интересно, сообщество Theora Вам еще не поставило прижизненный памятник?

Посмотрел.

страница
http://www.elphel.com/3fhlo/index.html

Смотрел плеером
http://www.videolan.org/

Файл m021_300_1_70.ogg не открылся - "серый квадрат". Может, у меня машина слабая - AMD Barton 1.6?

j0011_5.ogg проигрался нормально. Загрузка проца - 50% (точно, для предыдущего файла проца не хватит - вероятно, декодер пока не оптимизировали на все эти SSE и пр.).

Вообще внушает! 2 минуты ролик, 6fps. 1280x1024, 16мбайт размер ролика - получается что-то типа 136 кбит (кило=1024)/сек. Качество - на мой взгляд, хрошее, с бытовой камерой не сравнить.

Если идти в сторону "видеоохранного" качества, и поставить планку CIF 6fps, битрейт, вероятно, упадет не менее чем в два раза. Получим видео вполне достаточного качества при потоке 64 кбит/сек. Если повезет, и упадет в 3 раза, то получим 45кбит на видео, и на аудио 19 кбит останется - получим полноценную систему мониторинга с потоком 64 кбит

1Гбайт памяти - это 4.5 часа такой записи. С учетом того, что 4 Гбайт SD карточка стоит в Москве <300$ получим 18 часов записи на девайс размером со "спичечную коробку" - ну или "пачку от сигарет" - если еще и аккумулятор подрубить.

Лично для моих проектов GPL лицензия на видеочасть даже полезна - хорошо, что все открыто, и есть шанс, что завтра оно не сдохнет.

В качестве кодера в проекте выступает XC3S1000-4FT256C. Терпимо.

В общем, Andrey Filippov - "адназначна".

Да, именно. Я тогда себе под это дело dual Xeon 3.6 купил все равно - недотягивал. Хотя софт с тех пор подчистили.



Честно говоря - там еще работать и работать - можно во многих "охранных" применениях сжать и посильнее. Дело в том, что у меня не использована возможность - на ходу решать - кодировать ли блок или считать, что он слабо изменился и пропускать (неподвижный фон). Сейчас этоне реализовано, т,к, заголовки у меня генерируются программно (зыранее), запихнуть их тоже в ПЛИС-ину уже напряга не хватило (а заголовок кадра сожержит, в частности, таблицу кодированных блоков)



А вот здеь я не согласен - считаю, что именно в этой области планку нужно поднимать. Иметь возможность записывать высокое разрешение с широкоугольными объективами, а не с повроротными камерами, которые легко пропускают важные события. Низкое качество охранных систем - может быть это сила привычки?



Именно на этом и бизнес :-) Мне удалось взять (и выполнить, конечно) большой заказ на разработку еще тогда, когда фирма-то была из одного человека. И со мной не испугались иметь дело именно поэтому - с исчезновением фирмы не пропадет возможность продолжать работать с ее продукцией - специалистов ведь можно и нанять себе.

Андрей Филиппов

Я понимаю, что Вы спец по FPGA, но интересно, можно ли эту Theor'у в AD BF561 засунуть? Там все-таки софтом многие вещи было проще решать...Да нет. Я как раз сторонник большого количества простых камер. Тогда точно ничего не пропустится. И, главное, камеры должны быть _аналоговыми_, т.к. пока выбор среди CMOS сенсоров ни в какое сравнение не идет с обычными аналоговыми охранными камерами (парадокс - там внутри стоит тот же CMOS, иногда CCD цифровой сенсор + DSP, но опытный фаакт, что получать такое же качество изображения в "стремных" условиях (темнота, большой диапазон по яркости) при помощи обычного CMOS сернсора замаешься!)

А GPL - Это сила! Тут спорить не о чем. И деньги это ничуть не мешает зарабытывать - даже наоборот (при грамотном подходе).

Именно, в БФ или ДМ642 или ещё луче в Davinchi (TI).
Там и CABAC можно написать (или в Теоре они не его не используют?) -попроще будет чем в ФПГА. Да и motion search сделать.

опять-таки не согласен - аналоговым камерам сложно делать несколько-секундные выдержки точью. А ночные съемки у нас есть - webcams . elphel.com

Андрей Филиппов

CABAC это же в MPEG-4, Theora на хафмане вроде сидит (возможно адаптивном), но вот кабак на ДСП ИМХО не сильно переспективное занятие

Да он и на ФПГА тоже не очень перспективен Каждый бит надо обнюхать. Это либо частоту в повышать или жуткую площадь использовать

CABAC - Context-Based Adaptive Binary Arithmetic Coding - это же вроде часть MPEG 4 AVC (он же H.264). Theora вроде как рядом с MPEG 4 обычным стоит.

Ну не знаю, в данный момент пишу под него парсер синтаксических элементов, блок на частотах 133/266 должен порядка 50-60 мегабит входных данных успевавать обрабатывать, при нормальной площади
правда памяти много уходит на таблицы

А если в чип еще и 4таких блока запихать(по слайсам разделить) то 200Мгбит с куста какой дсп это сделает ?

(Для справки Техас 642, на 700 МГц порядка 20 мегабит даст).







Хмм ну рядом, но не совсем, там разные алгоритмы обработки сигнала.
Да и в МПЕГ есть разные виды энтропии КАБАК и КАВЛС.

ИМХО энтропия теоры на уровне мпеговской КАВЛС.

Есть же люди-монстры! Насколько я знаю, в Ateme кодек MPEG 4 AVC вещательного качества на плисинах разрабатывала целая команда - человек 10. Когда я к ним ездил, мне в столовой издали показали эту группу. Ну что можно сказать - не от мира сего товарищи Летом 2005 кодек (1080p HDTV) у них влазил чуть ли не в десяток ксилов.

Вроде как закончили они свой кодек.
http://extranet.ateme.com/download.php?file=447

Вы к ним ездили ? а можно подробнее, если не хотите писать в форуме можно через пагер/мылом?

Насчет объема у них же полный энкодер, который состоит из 6 больших блоков, а мы ведем разговор про кабак

И потихоньку тоже команду набираем разработчиков энкодера.
В реалности хотелось бы на 1080р 4 Main Profile жать в реалтайме.

Ездил. Но не как разработчик, а на переговоры о покупке дизайна ихнего IP STB. А это они так, хвастались своей крутизной. Ну а я мотал на ус

Пишите ea[псина]kbkcc.ru.


Осталось только понять, кто это это $ платить будет (за будущий готовый продукт - к этому моменту буржуины уже наплодят кодеков как грязи.). На MPEG4 AVC сейчас поставили все. Соотвественно, либо готовый продукт будет в 2006 году, либо проект можно и не начинать.

тут согласен целиком и полностью, но споры об этом предмет уже другой темы

Не раз встречался с такими группами разработчиков. Могу сказать, что первое впечатление далеко не всегда верно. "Не от мира сего" товарищи обычно такие же люди, как и все мы. Настоящих "гуру" там, как правило максимум парочка Много исходников видел от "таких" товарищей. Далеко не все там идеально. Если посмотреть исходники IP разных брендов, то порой в ужас приходишь! Не особо они парятся за качество кода, многое делается "в лоб". Нет видимо у этих "товарищей" времени на серьезную проработку, да может и не требуется, time to market все-таки.

А по поводу количества ксилов, - ИМХО это не показатель. Завит от разрядности данных алгоритма, количества необходимой памяти и т. п. Делал как-то шифр AES аппаратно, вроде все достаточно просто, но "не лез" он ни в один из существующих на том момент кристаллов, - слишком уж много симметричной логики!

Так у вас encoder или decoder ? Если не секрет сколько места занимает ?? И что за ФПГА ?
Я енкодер забодался делать чтоб в Spartan3 1000 влез и успевал данние с 30fps обработать. Либо памяти не хватает либо замедлять приходится .

Мы делаем полный энкодер под HD, ориентируемся на большие виртексы4.

ИМХО полный D1 энкодер реалтайм, не реально сделать только в спартане3 1000, на 2-х 3E 1600, или на 3 4000ке можно попробывать. (по прикидкам порядка 27к треба на все).

Т.к. поддержка всех фич стандарта (ME quarter pixel, партицирование inter/intra мод, поддержка всего набора квантайзеров, рейт контрол, CABAC/CAVLC, deblock, MBAFF, interlace) уж слишком дорого стоит, да + еще обвязка в виде контроллера памяти, менеджера запросов памяти (а куда без него при ME) и т.д.

Согласен. МЕ мне был не нужен. Quantizer table загружается извне. Рейт контрол тоже внешний ЦПУ делает. Так что в 2000мил спартан должно влезть.
Virtex4 пока дорого.

Без Ме это плохо (хотя Вам может это в принципе не нужно).

хмм ну если у вас D1 I slice only, без партицирования, и только один вид энтропии, да еще и рулиться внешним ЦПУ то ИМХО в 7-8кSlice уложиться можно, с ХД уже будут проблемы.

но на Вашем месте я бы все таки посмотрел на спартан3е 1600ку, т.к. у 3 го не очень хороша архитектура .

А насчет виртексов 4 это вы зря, самый дешевый виртекс можно купить за 100-130 баков, при этом емкость и производительность у него на голову выше спартана. в совокупности может получться что удорожание цены чипа в 3 раза, вылезет в улучшение характеристик.

Желаю удачи.

Тут JPEG-LS сделали на FPGA - http://jpegls.narod.ru

Написал им запрос - интересно, во сколько они оценят свое творение?

Кстати, я занимался JPEG-2000 подобным кодером (он у меня готов процентов на 70). Кодер обещает быть быстрым (более 80 МГц пиксельная частота, вполне для HDTV подойдет) и нетребовательным по ресурсам (чип Spartan2 ... 3E ,PQ208, не более $30), память - 2-3 шт DDR SDRAM. Разрешение - 1920х1080 - легко. (при 30 FPS). Соответственно, если картинка меньше --> FPSов больше... Коэффициент сжатия порядка 10-20 (в зависимости от требуемого качества картинки, можно и до 50 догнать.
Проект заморожен по причине отсутствия интереса со стороны заказчика. Если есть интерес - пишите.

PS. Большинство основных модулей проекта уже отлажены "в железе", так что адаптация и первые результаты по Вашему проекту могут быть получены достаточно быстро...