Ruslan1 Я, если честно, решил пока задачу "влоб" - сделал систему-на-чипе (Xilinx spartan 6), которая и сигналы с пультов снимает и видео-сигналы генерирует. Только к сожалению, масштабирование такого устройства сильно ограничено, да и сопряжено с большим временем разработки (зато, о таких таймингах практически не заботишься - или GPIO на сигнал от ножки ПЛИС, или контроллер АЦП с большой частотой; кроме времени выполнения кода прерываний, конечно). Собственно, поэтому и задаюсь сейчас вопросом о том, можно ли это перевести на персоналку - благо предметную область на C++ можно перенести.
Вообще, мне казалось, что если решать на персоналке, то пульты и их контроллеры должны быть "глупыми" - без RTC, вся обработка - на ЦП, а тайминги - определяться скоростями интерфейсов. Поэтому, если найти современный интерфейс с малыми задержками, то можно было бы добиться адекватной точности.
Из ОСРВ смотрю в сторону
http://www.xenomai.org как открытого решения или QNX как продвинутого, хотя цен на лицензию опасаюсь. Так как по задумке вся обработка на персоналке, то программирую таймер на заданную частоту, по его тикам пересчитываю модель. Если прерывание от пульта приходит между тиками - считаю, что сигнал получен в прошлом такте. Отсюда и точность - 1 мс. Если обрабатывается постоянно изменяющееся действие испытуемого - то в каждом прерывании модель пересчитывается с только что полученным сэмплом от АЦП.
Привязку к кадрам - я ни разу такого не видел, хотя в SoC еще и не такое можно построить

А про обработку за текущий кадр - я имел ввиду заметную глазу "скорость" обработки, в соотношении точности 1 мс против 10-20 мс на перерисовку. При таком соотношении, возможность, что обработан сигнал будет в начале следующего кадра, мне кажется, составит не более 1/10 или 1/20 (или того меньше, так как прерывание может придти в период бланкинга контроллера).