Как подключить MIPI CSI-2 камеру?, Перекачать картинку с модулей Omnivision, Sony IMX и т.п. Опции

[tmtlib]

Существует множество сенсоров, у которых имеется только MIPI интерфейс.
Какие есть пути их использования?
Неавно вычитал, что по MIPI с некоторых модулей можно перекачивать JPEG, это в некотором смысле может уменьшить требования к используемым чипам.
Меня давно интересует следующая идея: вычитать один Bayer кадр с такого сенсора и положить его в DDR память, либо вычитать JPEG по MIPI и сразу по USB отправить в какой-нибудь простенький ARM. Но ничего толком найти не удаётся.

1) FPGA
Какой самый минимальный дешевый чип позволит сделать мост CSI-parallel?
Я вижу рекламу новых чипов, но они дороже самих камер в десятки раз. Условно говоря сейчас 5 мегапикселей это 100 рублей.

2) Чипы USB camera controller
Огромное количество чипов с MIPI интерфейсом, но никакой документации, сложно достать
Вот маленький списочек:

USB2.0 camera controllers:

sm3732 - USB 2.0 PC Camera Controller (QFN40) MIPI: unknown
au3830 - USB 2.0 WEB Camera Controller (LQFP,QFN) MIPI: unknown
AU3822U - USB 2.0 NB-Cam Controller MIPI: unknown
AU3826 - USB 2.0 NB-Cam Controller MIPI: yes
M5608T - USB 2.0 NB-Cam Controller MIPI: unknown
AU3841 - USB 2.0 NB-Cam Controller MIPI: unknown
SN9C292A - USB2.0 H.264 Video Encoding Camera Controller (65pin LGA) MIPI: yes
SN9C291B - USB2.0 H.264 Video Encoding Camera Controller MIPI: yes
SN9C270M - USB 2.0 High-Speed (HS) compatible PC Camera controller MIPI: yes
SN9C271M - USB 2.0 High-Speed (HS) compatible PC Camera controller MIPI: yes
SN9C281M - USB 2.0 High-Speed (HS) compatible PC Camera controller MIPI: yes
SN9C281A - USB 2.0 High-Speed (HS) compatible PC Camera controller MIPI: no
SN9C270A - USB 2.0 High-Speed (HS) compatible PC Camera controller MIPI: no
SN9C271A - USB 2.0 High-Speed (HS) compatible PC Camera controller MIPI: no
SN9C263 - USB 2.0 compatible PC Camera controller MIPI: no
SN98600 - SONIX SN98600 / 98601 / 98610 IP Camera SoC MIPI: yes
GL865A - USB 2.0 UVC/MJPG Camera Controller MIPI: yes
GL864A - USB 2.0 UVC Camera Controller MIPI: unknown
GL862EC - USB 2.0 PC Camera Controller MIPI: unknown


USB3.0 camera controllers (with MIPI interface):

RTS5825 - USB3.0 PC Camera Controller with Image Signal Processing and MJPEG Encoder
cyusb3064 - EZ-USB CX3 Programmable MIPI CSI-2 to USB 3.0 Camera Controller


IP camera SOC:

S3LM IP Camera SoC MIPI: yes
Hi3516A MIPI: yes
Hi3518 MIPI: no
GM8139 - High-Performance Solution for H.264 IP Camera Application MIPI: yes
GM8138/8138S - Cost-Effective Solution for H.264 IP Camera Application MIPI: yes
GM8136S/8135S - Economic H.264 IP Camera Application MIPI: yes

Mozart 330s Mozart 370s Mozart 385s Mozart 390s Mozart 395s - MIPI: unknown
R288C,R292C - H.264 Codec SoC with Dual Video Input Channel MIPI: yes
M388C,M392C - H.264 Encoder SoC with Integrated Fisheye Correction Function MIPI: yes

FH8810 - FH8810 high performance SoC for HD IPC - MIPI: yes
FH8830 - 2M/3M High Performance Camera SoC - MIPI: yes
FH8812 - High Performance SoC for IP Camera - MIPI: yes
FH8620 - Low-Power、High Performance Wireless Camera SoC
FH8610 - FH8610: Low Cost、High Performance Wireless Camera SoC
FH8550M - High Performance 1080P ISP for CCTV - MIPI: yes

Я смотрел даташиты на многие из этих чипов, и пришел к выводу, что если иметь доступ к их SDK (встроенной прошивке), то это очень интересное решение.
Не совсем понятно ограничение на разрешение видео для некоторых чипов, наверное встроенной памяти не хватит для перекодировки Bayer в MJPEG. Но если сенсор напрямую шлёт JPEG (типа Omnivision), то без проблем должно пролезть в USB. Вообще идеальный вариант был бы, только нужно знать конфигурационные регистры модуля, и его уже можно подключать к любой платформе с USB2.0 + UVC. Это можеть быть и Openwrt, и обычный ПК, и андроид.

3) Всякие ARM процессоры, например от Broadcom и Mediatek. Но их не купить толком и документации нету. Разве что Raspberry Pi.
Либо чипы очень дорогие, nvidia jetson и т.п..

Сообщение отредактировал tmtlib - Dec 23 2016, 05:03

[tmtlib]

А тем временем в продажу вышло множество камер USB3.0, начиная от 8 мегапикселей.
Нету никаких cyusb3014 и fpga! Просто один чип стоит (не всегда одинаковый) и маленький SPI EEPROM к нему (AT25040A).
Есть модуль, который предположительно использует сенсор от смартфона известной фирмы.
На одном из модулей виднеется выход SPI (в самом низу картинки MOSI/MISO/SCK).
Модулей намного больше, залитые эпоксидкой или без фото задней части с микросхемой я сюда не добавлял.
Сверху-вниз:
N1: Фирма Kingcent, 8мегапикселей USB3.0. На микросхеме виднеется надпись NXP "A......." что-то там. Но у freescale/nxp я нашел только микросхемы для IP-камер, которые работают только при наличии большой внешней оперативки и флеш. Тут явно что-то другое.
N2: Ссылку не сохранил, нашел на 1688.com. Микросхема похожа на предыдущий вариант. Все ищется по запросам камера (через переводчик) 800 (для 8 мегапикселей) USB 3 модуль.
фото в полном разрешении: http://www.igrodel.ru/usb3-8mp-cameras.jpg

N3: Микросхема SONIX SN5259 + сенсор 8 мегапикселей Sony IMX-179 (аналог ищется на www.alibaba.com и 1688.com).
N4: микросхема схожая с N1 и N2. Сенсор явно от мобильника или от планшета, слева маленький SPI EEPROM. (https://gucee.1688.com/)
N5: Скорее всего SONIX, как на N3. N3 и N5 возможно не USB3.0, а USB2.0 (shop1473414493515.1688.com/)
N6: Опять USB3.0, опять 8 мегапикселей IMX179. Тут уже виднеется серийный номер микросхемы, но название стёрто лазером. На плате дата разработки 201703v1.0 (https://rys2015.1688.com/)
N7: 8 мегапикселей USB3.0 Сжатие видео H.264(https://shop1369446042678.1688.com/)
N8: 8 мегапикселей USB3.0, есть выход SPI (https://camera888.1688.com/)
Это только маленькая часть! Интересно, какой чип там используется (N1,N2,N4,N6,N7 и N8)
У 1,2,4,6,7 чипы похожи, у N8 немного побольше.
Вряд ли это cyusb3014 с параллельным интерфейсом. Откуда тогда у IMX179 возмётся MJPEG сжатие на максимальном разрешении 8мп.
У последней камеры интересно наличие H264 сжатия + USB3.0 + SPI интерфейса.
Учитывая, что сейчас USB есть везде, а USB3 можно вставить и в USB2 (просто уменьшится интерфейс), то такое решение очень интересно.
Одна микросхема + небольшая SPI FLASH soic8 + сенсор на 8 мегапикселей, и можно по USB2.0 гнать 2 мегапикселя с хорошей светочувствительностью. Вместо использования древних модулей камер на 2 мегапикселя, которые при комнатном освещении уже дают огромный шум.
Кто-то знает, какой чип там используется, или хотя бы есть догадки?

Update: ещё забыл сказать, недавно нашел интересную штучку.
ALTERA D8M-GPIO: http://www.terasic.com.tw/cgi-bin/page/arc...=68&No=1011
в основе лежит интересная микросхема Toshiba TC358746AXBG / TC358748XBG

The MIPI® CSI-2 to Parallel port and Parallel port to CSI-2 (TC358746AXBG/TC358748XBG) is a bridge device that converts MIPI data transfers from devices such as a camera to an application processor over a Parallel port interface. All internal registers can be access through I2C or SPI (in CSI out case only).

Микросхема распараллеливает MIPI, а дальше можно по усмотрению. Также вроде эта микросхема может и в обратную сторону собирать параллельный поток в MIPI. Фото:



Сообщение отредактировал tmtlib - Aug 11 2017, 11:45