Как подключить MIPI CSI-2 камеру?, Перекачать картинку с модулей Omnivision, Sony IMX и т.п. Опции

[tmtlib]

Существует множество сенсоров, у которых имеется только MIPI интерфейс.
Какие есть пути их использования?
Неавно вычитал, что по MIPI с некоторых модулей можно перекачивать JPEG, это в некотором смысле может уменьшить требования к используемым чипам.
Меня давно интересует следующая идея: вычитать один Bayer кадр с такого сенсора и положить его в DDR память, либо вычитать JPEG по MIPI и сразу по USB отправить в какой-нибудь простенький ARM. Но ничего толком найти не удаётся.

1) FPGA
Какой самый минимальный дешевый чип позволит сделать мост CSI-parallel?
Я вижу рекламу новых чипов, но они дороже самих камер в десятки раз. Условно говоря сейчас 5 мегапикселей это 100 рублей.

2) Чипы USB camera controller
Огромное количество чипов с MIPI интерфейсом, но никакой документации, сложно достать
Вот маленький списочек:

USB2.0 camera controllers:

sm3732 - USB 2.0 PC Camera Controller (QFN40) MIPI: unknown
au3830 - USB 2.0 WEB Camera Controller (LQFP,QFN) MIPI: unknown
AU3822U - USB 2.0 NB-Cam Controller MIPI: unknown
AU3826 - USB 2.0 NB-Cam Controller MIPI: yes
M5608T - USB 2.0 NB-Cam Controller MIPI: unknown
AU3841 - USB 2.0 NB-Cam Controller MIPI: unknown
SN9C292A - USB2.0 H.264 Video Encoding Camera Controller (65pin LGA) MIPI: yes
SN9C291B - USB2.0 H.264 Video Encoding Camera Controller MIPI: yes
SN9C270M - USB 2.0 High-Speed (HS) compatible PC Camera controller MIPI: yes
SN9C271M - USB 2.0 High-Speed (HS) compatible PC Camera controller MIPI: yes
SN9C281M - USB 2.0 High-Speed (HS) compatible PC Camera controller MIPI: yes
SN9C281A - USB 2.0 High-Speed (HS) compatible PC Camera controller MIPI: no
SN9C270A - USB 2.0 High-Speed (HS) compatible PC Camera controller MIPI: no
SN9C271A - USB 2.0 High-Speed (HS) compatible PC Camera controller MIPI: no
SN9C263 - USB 2.0 compatible PC Camera controller MIPI: no
SN98600 - SONIX SN98600 / 98601 / 98610 IP Camera SoC MIPI: yes
GL865A - USB 2.0 UVC/MJPG Camera Controller MIPI: yes
GL864A - USB 2.0 UVC Camera Controller MIPI: unknown
GL862EC - USB 2.0 PC Camera Controller MIPI: unknown


USB3.0 camera controllers (with MIPI interface):

RTS5825 - USB3.0 PC Camera Controller with Image Signal Processing and MJPEG Encoder
cyusb3064 - EZ-USB CX3 Programmable MIPI CSI-2 to USB 3.0 Camera Controller


IP camera SOC:

S3LM IP Camera SoC MIPI: yes
Hi3516A MIPI: yes
Hi3518 MIPI: no
GM8139 - High-Performance Solution for H.264 IP Camera Application MIPI: yes
GM8138/8138S - Cost-Effective Solution for H.264 IP Camera Application MIPI: yes
GM8136S/8135S - Economic H.264 IP Camera Application MIPI: yes

Mozart 330s Mozart 370s Mozart 385s Mozart 390s Mozart 395s - MIPI: unknown
R288C,R292C - H.264 Codec SoC with Dual Video Input Channel MIPI: yes
M388C,M392C - H.264 Encoder SoC with Integrated Fisheye Correction Function MIPI: yes

FH8810 - FH8810 high performance SoC for HD IPC - MIPI: yes
FH8830 - 2M/3M High Performance Camera SoC - MIPI: yes
FH8812 - High Performance SoC for IP Camera - MIPI: yes
FH8620 - Low-Power、High Performance Wireless Camera SoC
FH8610 - FH8610: Low Cost、High Performance Wireless Camera SoC
FH8550M - High Performance 1080P ISP for CCTV - MIPI: yes

Я смотрел даташиты на многие из этих чипов, и пришел к выводу, что если иметь доступ к их SDK (встроенной прошивке), то это очень интересное решение.
Не совсем понятно ограничение на разрешение видео для некоторых чипов, наверное встроенной памяти не хватит для перекодировки Bayer в MJPEG. Но если сенсор напрямую шлёт JPEG (типа Omnivision), то без проблем должно пролезть в USB. Вообще идеальный вариант был бы, только нужно знать конфигурационные регистры модуля, и его уже можно подключать к любой платформе с USB2.0 + UVC. Это можеть быть и Openwrt, и обычный ПК, и андроид.

3) Всякие ARM процессоры, например от Broadcom и Mediatek. Но их не купить толком и документации нету. Разве что Raspberry Pi.
Либо чипы очень дорогие, nvidia jetson и т.п..

Сообщение отредактировал tmtlib - Dec 23 2016, 05:03

[Alex11]

В DS на 5647 черным по белому написано:
4.10.1 FREX control
In FREX mode, whole frame pixels start integration at the same time, rather than integrating row by row. After the
user-defined exposure time (0x3B01, 0x3B04, 0x3B05), the shutter closes, preventing further integration and the image
begins to read out. After the readout finishes, the shutter opens again and the sensor resumes normal mode, waiting for
the next FREX request.
The OV5647 supports two modes of FREX (see figure 4-13):
mode 1: Frame exposure and shutter control requests come from the external system via the FREX pin. The sensor
will send a strobe output signal to control the flash light
mode 2: Frame exposure request comes from the external system via the SCCB register 0x3B08[0]. The sensor
will output two signals, shutter control signal through the FREX pin and strobe signal through the STROBE pin

Так что, это то, что Вам нужно. Если один кадр, то в FPGA спокойно примете, а дальше выдавайте с любой скоростью куда угодно. Не стоит только уменьшать скорость очень сильно, можно получить много шумов с матрицы.