Поделитесь плиз опытом оптимальной реализации.
Интересуюсь применяемыми алгоритмами и железом, те как проще и на чём решить проблему?
Всего 8 камер НТСЦ 720х480 30фпс, доступа к видеосенсору нет.

например: http://www.cs.columbia.edu/CAVE/projects/polycam/polycam.php

Что касается реализации - трудно сказать что-либо конкретное.
Если не в реальном времени - можно софтину сгородить.
реальное время - однозначно нужен скорострельный dsp, а еще лучше - gpu типа gtx260...

В том то и дело, реалтайм.
Нужно сразу подавать картинку на дисплей с минимально возможной задержкой.
Может аппаратное решение в природе есть?

Вполне может сгодиться для таких целей Blackfin 54x. Там как раз есть всякие ускорители обработки картинок. По процессору на каждую камеру и никаких проблем. Разрядности как раз хватит, и частоты у них хорошие. А конкретные фильтры по корректировке рыбьего глаза можнос смотреть в статьях разных. Например http://www.nuigalway.ie/eee/Research/car/d...ghes_issc08.pdf . Сама статья обзорная, нужно выбрать алгоритм, а далее по референсам найдётся инфа по кокретному алгоритму. Отсюда можно будет оценить необходимые вычислительные мощности и уже тогда выбрать как делать.

примерно так
- понять что нужно видеть в результате - т.е. какую область в рыбо-глазной картинке
- предварительно рассчитаная таблица: от окна наблюдения точка -> какую точку взять в рыбо-глазой картинке
- интерполяция там же в таблице заложена.

по итогу коррекция в реальном времени будет через простой LUT
Это если просто картинку расправить.

Если надо поточнее - то надо учитывать параметры каждой рыбо-глазой камеры (производители их предоставляют) и таблица "при страте" рассчитывается под конкретную камеру.

Да. Основная проблема - калибровка. Кстати, рыбоглазье - свойство объектива. На одну камеру можно повесить разные объективы...

ну если надо точно - калибровка проводится после сборки камеры - т.е. после того как объектив прицепили.
смещение центра линзы относительно центра картинки/матрицы - оно может очень быть интересным .

если камера в сборе - обычно на "заводе" ее калибруют и в общем среднем или из камеры "читается" или должно прилагаться.