Как подключить MIPI CSI-2 камеру?, Перекачать картинку с модулей Omnivision, Sony IMX и т.п. Опции

[tmtlib]

Существует множество сенсоров, у которых имеется только MIPI интерфейс.
Какие есть пути их использования?
Неавно вычитал, что по MIPI с некоторых модулей можно перекачивать JPEG, это в некотором смысле может уменьшить требования к используемым чипам.
Меня давно интересует следующая идея: вычитать один Bayer кадр с такого сенсора и положить его в DDR память, либо вычитать JPEG по MIPI и сразу по USB отправить в какой-нибудь простенький ARM. Но ничего толком найти не удаётся.

1) FPGA
Какой самый минимальный дешевый чип позволит сделать мост CSI-parallel?
Я вижу рекламу новых чипов, но они дороже самих камер в десятки раз. Условно говоря сейчас 5 мегапикселей это 100 рублей.

2) Чипы USB camera controller
Огромное количество чипов с MIPI интерфейсом, но никакой документации, сложно достать
Вот маленький списочек:

USB2.0 camera controllers:

sm3732 - USB 2.0 PC Camera Controller (QFN40) MIPI: unknown
au3830 - USB 2.0 WEB Camera Controller (LQFP,QFN) MIPI: unknown
AU3822U - USB 2.0 NB-Cam Controller MIPI: unknown
AU3826 - USB 2.0 NB-Cam Controller MIPI: yes
M5608T - USB 2.0 NB-Cam Controller MIPI: unknown
AU3841 - USB 2.0 NB-Cam Controller MIPI: unknown
SN9C292A - USB2.0 H.264 Video Encoding Camera Controller (65pin LGA) MIPI: yes
SN9C291B - USB2.0 H.264 Video Encoding Camera Controller MIPI: yes
SN9C270M - USB 2.0 High-Speed (HS) compatible PC Camera controller MIPI: yes
SN9C271M - USB 2.0 High-Speed (HS) compatible PC Camera controller MIPI: yes
SN9C281M - USB 2.0 High-Speed (HS) compatible PC Camera controller MIPI: yes
SN9C281A - USB 2.0 High-Speed (HS) compatible PC Camera controller MIPI: no
SN9C270A - USB 2.0 High-Speed (HS) compatible PC Camera controller MIPI: no
SN9C271A - USB 2.0 High-Speed (HS) compatible PC Camera controller MIPI: no
SN9C263 - USB 2.0 compatible PC Camera controller MIPI: no
SN98600 - SONIX SN98600 / 98601 / 98610 IP Camera SoC MIPI: yes
GL865A - USB 2.0 UVC/MJPG Camera Controller MIPI: yes
GL864A - USB 2.0 UVC Camera Controller MIPI: unknown
GL862EC - USB 2.0 PC Camera Controller MIPI: unknown


USB3.0 camera controllers (with MIPI interface):

RTS5825 - USB3.0 PC Camera Controller with Image Signal Processing and MJPEG Encoder
cyusb3064 - EZ-USB CX3 Programmable MIPI CSI-2 to USB 3.0 Camera Controller


IP camera SOC:

S3LM IP Camera SoC MIPI: yes
Hi3516A MIPI: yes
Hi3518 MIPI: no
GM8139 - High-Performance Solution for H.264 IP Camera Application MIPI: yes
GM8138/8138S - Cost-Effective Solution for H.264 IP Camera Application MIPI: yes
GM8136S/8135S - Economic H.264 IP Camera Application MIPI: yes

Mozart 330s Mozart 370s Mozart 385s Mozart 390s Mozart 395s - MIPI: unknown
R288C,R292C - H.264 Codec SoC with Dual Video Input Channel MIPI: yes
M388C,M392C - H.264 Encoder SoC with Integrated Fisheye Correction Function MIPI: yes

FH8810 - FH8810 high performance SoC for HD IPC - MIPI: yes
FH8830 - 2M/3M High Performance Camera SoC - MIPI: yes
FH8812 - High Performance SoC for IP Camera - MIPI: yes
FH8620 - Low-Power、High Performance Wireless Camera SoC
FH8610 - FH8610: Low Cost、High Performance Wireless Camera SoC
FH8550M - High Performance 1080P ISP for CCTV - MIPI: yes

Я смотрел даташиты на многие из этих чипов, и пришел к выводу, что если иметь доступ к их SDK (встроенной прошивке), то это очень интересное решение.
Не совсем понятно ограничение на разрешение видео для некоторых чипов, наверное встроенной памяти не хватит для перекодировки Bayer в MJPEG. Но если сенсор напрямую шлёт JPEG (типа Omnivision), то без проблем должно пролезть в USB. Вообще идеальный вариант был бы, только нужно знать конфигурационные регистры модуля, и его уже можно подключать к любой платформе с USB2.0 + UVC. Это можеть быть и Openwrt, и обычный ПК, и андроид.

3) Всякие ARM процессоры, например от Broadcom и Mediatek. Но их не купить толком и документации нету. Разве что Raspberry Pi.
Либо чипы очень дорогие, nvidia jetson и т.п..

Сообщение отредактировал tmtlib - Dec 23 2016, 05:03

[Alex11]

В DS на 5647 черным по белому написано:
4.10.1 FREX control
In FREX mode, whole frame pixels start integration at the same time, rather than integrating row by row. After the
user-defined exposure time (0x3B01, 0x3B04, 0x3B05), the shutter closes, preventing further integration and the image
begins to read out. After the readout finishes, the shutter opens again and the sensor resumes normal mode, waiting for
the next FREX request.
The OV5647 supports two modes of FREX (see figure 4-13):
mode 1: Frame exposure and shutter control requests come from the external system via the FREX pin. The sensor
will send a strobe output signal to control the flash light
mode 2: Frame exposure request comes from the external system via the SCCB register 0x3B08[0]. The sensor
will output two signals, shutter control signal through the FREX pin and strobe signal through the STROBE pin

Так что, это то, что Вам нужно. Если один кадр, то в FPGA спокойно примете, а дальше выдавайте с любой скоростью куда угодно. Не стоит только уменьшать скорость очень сильно, можно получить много шумов с матрицы.

[tmtlib]

В DS на 5647 черным по белому написано:
4.10.1 FREX control
In FREX mode, whole frame pixels start integration at the same time, rather than integrating row by row. After the
user-defined exposure time (0x3B01, 0x3B04, 0x3B05), the shutter closes, preventing further integration and the image
begins to read out. After the readout finishes, the shutter opens again and the sensor resumes normal mode, waiting for
the next FREX request.
The OV5647 supports two modes of FREX (see figure 4-13):
mode 1: Frame exposure and shutter control requests come from the external system via the FREX pin. The sensor
will send a strobe output signal to control the flash light
mode 2: Frame exposure request comes from the external system via the SCCB register 0x3B08[0]. The sensor
will output two signals, shutter control signal through the FREX pin and strobe signal through the STROBE pin

Так что, это то, что Вам нужно. Если один кадр, то в FPGA спокойно примете, а дальше выдавайте с любой скоростью куда угодно. Не стоит только уменьшать скорость очень сильно, можно получить много шумов с матрицы.

Спасибо, теперь становится понятнее.
Здесь скорее всего ошибочная информация:
https://www.raspberrypi.org/forums/viewtopi...98&p=904220

I have discussed it with an Omnivision apps engineer - there is no frame sync input on OV5647. In all situations the OV5647 operates in a rolling shutter mode. FREX acts as a global reset on all pixels which then starts exposing them all. Readout will start after the configured exposure time, but the lines continue exposing until they are read out. If you do not have externally controlled lighting or a mechanical shutter then the frame will be exposed for significantly longer (~66ms longer if 5MPix) at the bottom than the top.

либо это про драйвер Raspberry PI. Смутило вот это заявление: "I have discussed it with an Omnivision apps engineer..."

Вот кое-какие интересные фото, может кому пригодится в качестве источника идей для разработки:

MT9F001/MT9F002 14мегапикселей Altera Cyclone3
http://m.aliexpress.com/item-desc/1444814594.html


3d камера на Altera Cyclone4 + cy7c68013a


SM3732 - микросхема в ноутбучных и планшетных вебкамерах. Без mipi, но вещь интересная. USB2.0


USB2.0 вебкамера. 5 мегапикселей, микросхема AU382x (в последней цифре не уверен)
Возможно это
AU3822U - USB 2.0 NB-Cam Controller MIPI: unknown
или AU3826 - USB 2.0 NB-Cam Controller MIPI: yes
AU3826 интересна наличием MIPI, в теории можно дешево загнать JPEG по USB с MIPI камеры


Может кто в курсе насчёт этих микросхем? Достать в теории не так уж и сложно, проблема со стабильным поставщиком, но можно ими разово закупиться. Я уверен оптом это самое дешевое решение. Самое главное иметь к ним хоть какой-нибудь SDK или утилиты, чтобы настроить под конкретную mipi камеру.

А помимо Lattice USB3.0 mipi bridge есть вот эти две интересные микросхемки:
Realtek RTS5825
и Genesys logic GL865A
интересны они тем, что 1) MIPI
2) USB3.0
3) оптом должно быть очень дешево
Если под RTS5825 был бы SDK, то по идее любую MIPI камеру из современных телефонов можно взять.

Предполагаю, что нужно делать так:
1) взять мобильник, выставить максимальное качество фото-видео, записать какие регистры смартфон шлет в MIPI камеру по I2C (или что там низкоскоростное для настроек) . По идее это очень просто сделать.
2) всять камеру из мобильника, подключить ее к RTS5825 и настроить RTS5825 на выдачу тех же конфигурационных регистров в камеру.

Что скажете по поводу этих микросхем? Они почему-то как-то тихо попадают в ноутбуки и вебкамеры в огромных количествах, но о них почти никакой информации. Только lattice продвигает свой usb3 bridge, который при наличии средство можно достать максимум в течении пары недель + все sdk.

Сообщение отредактировал tmtlib - Dec 27 2016, 15:53