Попинайте идею (ffmpeg на плис) Опции

[blumenkraft]

Всем привет! У нас в мире есть такая мегасофтина, называется ffmpeg. Эта штуковина, условно говоря, конвертирует любой аудио или видео формат в любой другой и имеет при этом примерно 100500 опций (всякое упоковывание в контейнеры, рескейлинг хитрыми алгоритмами, и так далее).

Теперь собственно идея, до боли простая - можно ли хотя бы часть функционала перенести на FPGA, и даст ли это плюшки вроде очень быстрой конверсии какого-нть формата в какой-то еще? Для примера, представьте что у вас есть uncompressed avi с кадрами 1280х720 и звуком - вам нужно например умно преобразовать это в 4K разрешение и упаковать в MP4.

Вообщем интересует сама "поднимаемость" такой идеи. Какие-то аппаратные энкодеры видеосигналов уже делают в FPGA, но хочется понять реально ли это в принципе.

[goodsoul]

Всем привет! У нас в мире есть такая мегасофтина, называется ffmpeg. Эта штуковина, условно говоря, конвертирует любой аудио или видео формат в любой другой и имеет при этом примерно 100500 опций (всякое упоковывание в контейнеры, рескейлинг хитрыми алгоритмами, и так далее).

Теперь собственно идея, до боли простая - можно ли хотя бы часть функционала перенести на FPGA, и даст ли это плюшки вроде очень быстрой конверсии какого-нть формата в какой-то еще? Для примера, представьте что у вас есть uncompressed avi с кадрами 1280х720 и звуком - вам нужно например умно преобразовать это в 4K разрешение и упаковать в MP4.

Вообщем интересует сама "поднимаемость" такой идеи. Какие-то аппаратные энкодеры видеосигналов уже делают в FPGA, но хочется понять реально ли это в принципе.

Все поднимаемо. Сделали же на ПЛИС и H.264 и HEVC. Тут весь вопрос в трудозатратах и стоимости законченного решения. В моей практике гораздо проще было ставить ASSP-кодек на плату, который и 4K сконвертирует и работать будет "из коробки" (тот же fujitsu). Это дешевле, чем ставить ПЛИС, которая сможет справляться с аналогичными задачами.

Если хочется сделать это на FPGA, то я бы в сторону OpenCL посмотрел. Видел живьем немало демок по обработке изображений (включая распознавание) - все выглядело более чем достойно. Причем не обязательно иметь связку x86 host + PCIe accelerator. Можно поднять все в SoC'е. У самого все руки не доходят прототип сделать из борды на CV SoC + плата с сенсором изображения + дисплей и обработать видео в реальном времени на OpenCL. Как дойдут - поделюсь результатами.

Какая-то такая тема: https://www.youtube.com/watch?v=ythPvAPB4iI