Пытаюсь понять механику захвата видео с целью последующей обработки. На входе имеем какую-нибудь аналоговую камеру (напрмиер PAL), и хочется донести кадр в виде матрицы пикселей до контроллера (даже не важно, какого именно), чтобы он уже выполнил над ним какую-то обработку. Но не понимаю всего конвеера, как это должно происходить. К чему я пока пришел:
1. Надо преобразовать видео в композитный сигнал
2. Надо поставить кадровый буффер, + FIFO очередь
3. По цифровому протоколу читать контроллером из буфера данные и обрабатывать

Так ли это?

1. Цифровой, наверное?
2-3. Обычно существуют в составе того процессора, который и будет производить обработку.

Ключевое слово для вашего случая - ITU.656

Нет, не так.

Надо взять видео АЦП (типа ADV7180 для PAL), подать на него PAL и получить с него непрерывный поток данных шириной 8 бит с 3 клоками, который завести в МК по специальному видео интерфейсу или просто по параллельной шине. Кадровые буферы, FIFO и прочие плюшки - ваша задача на стороне МК.