FMC122P - PCI Express v3.0 x16, Хочу похвастаться Опции

[dsmv]

Всем доброго времени суток.

Хочу рассказать о достижениях в области PCI Express.

У нас в разработке находится модуль FMC122P : http://insys.ru/products/fmc/fmc122p
На нём установлен Virtex 7, который имеет два порта PCI Express v3.0 x8; Эти два порта подключены к коммутатору, а коммутатор подключён к разъёму x16.

Есть интересные результаты по измерению скорости:

• Intel Core i7 3820 P9X79, память DDR3-1866 - 11050 Мбайт/с
• Intel Core i7 3820 P9X79, память DDR3-1600 - 10900 Мбайт/с
• Intel Core i7 5820 X99, память DDR4-2400 - 9000 Мбайт/с

Два модуля FMC122P в компьютере P9X79, DDR3-1866 показывают 11000 Мбайт/с каждый. Но если включить проверку данных, то скорость падает до 7500 Мбайт/с.
В компьютере P9X79 DDR3-1600 при включении проверки скорость также падает до 8500 Мбайт/с
В компьютере P9X79 DDR3-1866 при одной плате и включённой проверке данный скорость не уменьшается - 11050 Мбайт/с
Скорость зависит от активности компьютера, видно что скорость падает при увеличении активности. Все измерения проводились под Windows 7 x64 при непрерывном вводе в буфер размером 1 Гбайт. Интервал измерения от нескольких минут до нескольких часов.

Самое интересное - почему такая маленькая скорость на компьютере Intel Core i7 5820 X99 DDR4-2400
Я ожидал прироста скорости до 12000, а получил снижение до 9000.

[prig]

...На данный момент главная задача этого модуля - показывать какие мы крутые. За полтора года я не смог найти ни одного покупателя.
С одной стороны модуль явно опередил своё время - никому такие скорости не нужны.
С другой стороны - Virtex 7 уже устарел. Сейчас это уже можно сделать на Kintex Ultrascale.

Ну, мне такая штуковина могла бы сгодится годика 3..4 назад. М.б. и кому-то ещё. А сейчас - нет.

Имха, дело тут не только в специфичности рынка и редко встречающихся соответствующих заказчиках.
Хотя фактор "нужного времени и места" стоит в полный рост.
Так, для наших задач (ЛВС) есть привязка к каналам передачи данных с ёмкостями 10G, 40G и 100G (здесь и далее - гигабиты в сек.).
И ещё желательно иметь кратности 2 или 4. И запас емкости каналов к материнской плате/бэкплейну.
Т.е., не всякая конфигурация годится под задачи ЛВС конкретного класса. Да и в других областях к ёмкостям ЛВС могут привязываться.
Вот и получается, 10G уже многими отработан, 40G уже не актуальны, да и ваша плата скорее вписывается в эти невостребованные 40G.
А для всё ещё горячих(в прямом и переносном) 100G желательно иметь что-нить покруче Virtex 7 и PCI Express v3.0.

Но плата красивая, это да. Бу иметь ввиду.
М.б. что-нить когда-нить и понадобится. И м.б. даже в ближайшее.

...
ПС: до собственного 10GHz осцилогрофа осталось пол шага?

Ну, осциллограф на 10G - это не столь интересно и весело, если речь о ёмкости канала. Таки, штуковина локальная, лучше всё заливать в один флакон.
Но за то, что подняли тему, отдельное спасибо. Иной раз ищешь что-нить такое, и хрен найдёшь, особливо в России.

[dsmv]

Тут бы поиграть со скоростю записи, принудительно опуская ее с 11000-13000Мб до уровней когда включение проверки перестанет провоцировать "проседание" приема/записи, и тогда анализировать имеющиеся/достигнутые цифры.

Да, здесь я уже столкнулся с ограничением скорости по проверке данных.
Мой алгоритм проверки успевает работать на скорости до 13280 Мбайт/с с системной памятью и 12635 Мбайт/с с пользовательской памятью.

В качестве тестовых данных я использую счётчик 64 разряда. Кстати, я обнаружил что компьютер с памятью DDR3-1866 работает быстрее чем DDR4-2133.

Следующим этапом я хочу передавать данные непосредственно в память графического процессора NVIDIA. И использовать его возможности для проверки и обработки данных. По отдельности платы уже работают, а вот запустить их вместе всё никак не соберусь.

А для всё ещё горячих(в прямом и переносном) 100G желательно иметь что-нить покруче Virtex 7 и PCI Express v3.0.

PCI Express 3.0 x16 как раз подходит для одного канала 100G. Такая плата у нас есть в разработке, но вот когда она появиться я уже не знаю.
Там будет использоваться Kintex UltraScale+ KU11P. Наработки по PCI Express будут перенесены на новую плату.

[prig]

...
PCI Express 3.0 x16 как раз подходит для одного канала 100G. Такая плата у нас есть в разработке,
...

Ну, в части "подходит" не всё так однозначно.

С одной стороны, та же обработка пакетов даже для одного 100G - задача серьёзная.
С другой стороны, зачастую предпочтительна кратность 2. И по портам, и по ёмкости каналов на "матерь" или бэкплейн.
Если этого нет, возможный круг задач, решаемый такой платой, может сильно сузиться.
Например, резервирование разного уровня. Есть и другие моменты, когда эта 2-ка востребована.

Но это так, лирическое. Один порт 100G - тоже весьма (самому не довелось, но представление есть). Главное, ч.б. работал.
Однако, если будете допиливать на PCI Express 3.0 x16, таки поставьте на FMC второй разъём под оптический модуль.
Вроде как, и соответствующих трансиверов как раз должно быть 8шт, а разъём много денег не скушает.

С ультраскейлами оно конечно интересней. Что там с трансиверами/стандартами, я навскидку не вспомню.
Но если есть возможность, на пару портов под оптику тоже лучше закладываться.

Впрочем, это я так, на всякий. Думаю, Вы в курсе.
А удастся ли это продать, будем поглядеть. Надеюсь, что да.

[dsmv]

Ну, в части "подходит" не всё так однозначно.
С одной стороны, та же обработка пакетов даже для одного 100G - задача серьёзная.
С другой стороны, зачастую предпочтительна кратность 2. И по портам, и по ёмкости каналов на "матерь" или бэкплейн.

Конечно это всё не просто, PCIe 3.0 x16 и 100G подходит по порядку скоростей ~10Гбайт/с. Обработка пакетов затрудняется маленькими размерами пакетов, но над обработкой я работаю, пока для варианта 10G.
Кратность 2 предусмотрена, у нас есть и FMC субмодуль с двумя QSFP, и другой FMC где восемь SFP. На новой плате также заложено два QSFP. ПЛИС KU11P как раз имеет два аппаратных узла 100G, так что всё совпадает.

У конкурентов похожие платы уже есть - там один или два QSFP, PCIe, память.

[blackfin]

У конкурентов похожие платы уже есть - там один или два QSFP...

..или четыре: BittWare XUPP3R.

Этих плат уже легион.. Зачем делать ещё одну с такими же параметрами? В чем изюминка?