|
FMC122P - PCI Express v3.0 x16, Хочу похвастаться |
|
|
|
Feb 21 2016, 10:27
|
Местный
Группа: Свой
Сообщений: 451
Регистрация: 6-09-05
Из: Москва
Пользователь №: 8 284
|
Всем доброго времени суток. Хочу рассказать о достижениях в области PCI Express. У нас в разработке находится модуль FMC122P : http://insys.ru/products/fmc/fmc122pНа нём установлен Virtex 7, который имеет два порта PCI Express v3.0 x8; Эти два порта подключены к коммутатору, а коммутатор подключён к разъёму x16. Есть интересные результаты по измерению скорости: - Intel Core i7 3820 P9X79, память DDR3-1866 - 11050 Мбайт/с
- Intel Core i7 3820 P9X79, память DDR3-1600 - 10900 Мбайт/с
- Intel Core i7 5820 X99, память DDR4-2400 - 9000 Мбайт/с
Два модуля FMC122P в компьютере P9X79, DDR3-1866 показывают 11000 Мбайт/с каждый. Но если включить проверку данных, то скорость падает до 7500 Мбайт/с. В компьютере P9X79 DDR3-1600 при включении проверки скорость также падает до 8500 Мбайт/с В компьютере P9X79 DDR3-1866 при одной плате и включённой проверке данный скорость не уменьшается - 11050 Мбайт/с Скорость зависит от активности компьютера, видно что скорость падает при увеличении активности. Все измерения проводились под Windows 7 x64 при непрерывном вводе в буфер размером 1 Гбайт. Интервал измерения от нескольких минут до нескольких часов. Самое интересное - почему такая маленькая скорость на компьютере Intel Core i7 5820 X99 DDR4-2400 Я ожидал прироста скорости до 12000, а получил снижение до 9000.
|
|
|
|
|
Mar 17 2016, 10:55
|
Местный
Группа: Свой
Сообщений: 451
Регистрация: 6-09-05
Из: Москва
Пользователь №: 8 284
|
Цитата(FLTI @ Mar 5 2016, 20:05) А на матерях с AMD-процессором какие результаты? К сожалению мне не удалось найти компьютер с AMD.
|
|
|
|
|
Apr 3 2017, 12:01
|
Местный
Группа: Свой
Сообщений: 451
Регистрация: 6-09-05
Из: Москва
Пользователь №: 8 284
|
Вот правильная ссылка: http://insys.ru/fmc/fmc122pНа данный момент главная задача этого модуля - показывать какие мы крутые. За полтора года я не смог найти ни одного покупателя. С одной стороны модуль явно опередил своё время - никому такие скорости не нужны. С другой стороны - Virtex 7 уже устарел. Сейчас это уже можно сделать на Kintex Ultrascale.
|
|
|
|
|
Sep 24 2018, 18:49
|
Местный
Группа: Свой
Сообщений: 451
Регистрация: 6-09-05
Из: Москва
Пользователь №: 8 284
|
Появились новые данные по скорости: - 13 500 Мбайт/с — ввод в буфер размером 1024 Мбайта в системной области памяти - 13 310 Мбайт/с — ввод в буфер размером 4096 Мбайт в пользовательской области памяти FMC122P: http://insys.ru/fmc/fmc122pP.S. 1 Мбайт = 1024*1024 байт.
|
|
|
|
|
Sep 26 2018, 06:45
|
Частый гость
Группа: Участник
Сообщений: 78
Регистрация: 21-02-08
Из: Мюнхен
Пользователь №: 35 249
|
>>После этого командами int_mem_read производится считывание и проверка принятых данных. а это не на физический ли предел натыкаетесь, по сскорости доступа к памяти ? Проверка тоже происходит по DMA? Тут бы поиграть со скоростю записи, принудительно опуская ее с 11000-13000Мб до уровней когда включение проверки перестанет провоцировать "проседание" приема/записи, и тогда анализировать имеющиеся/достигнутые цифры. ПС: до собственного 10GHz осцилогрофа осталось пол шага?
Сообщение отредактировал Bios71 - Sep 26 2018, 07:41
--------------------
я не волшебник, я только учусь ...
|
|
|
|
|
Sep 27 2018, 07:50
|
Знающий
Группа: Свой
Сообщений: 869
Регистрация: 30-01-08
Из: СПб
Пользователь №: 34 595
|
Цитата(dsmv @ Apr 3 2017, 15:01) ...На данный момент главная задача этого модуля - показывать какие мы крутые. За полтора года я не смог найти ни одного покупателя. С одной стороны модуль явно опередил своё время - никому такие скорости не нужны. С другой стороны - Virtex 7 уже устарел. Сейчас это уже можно сделать на Kintex Ultrascale. Ну, мне такая штуковина могла бы сгодится годика 3..4 назад. М.б. и кому-то ещё. А сейчас - нет. Имха, дело тут не только в специфичности рынка и редко встречающихся соответствующих заказчиках. Хотя фактор "нужного времени и места" стоит в полный рост. Так, для наших задач (ЛВС) есть привязка к каналам передачи данных с ёмкостями 10G, 40G и 100G (здесь и далее - гигабиты в сек.). И ещё желательно иметь кратности 2 или 4. И запас емкости каналов к материнской плате/бэкплейну. Т.е., не всякая конфигурация годится под задачи ЛВС конкретного класса. Да и в других областях к ёмкостям ЛВС могут привязываться. Вот и получается, 10G уже многими отработан, 40G уже не актуальны, да и ваша плата скорее вписывается в эти невостребованные 40G. А для всё ещё горячих(в прямом и переносном) 100G желательно иметь что-нить покруче Virtex 7 и PCI Express v3.0. Но плата красивая, это да. Бу иметь ввиду. М.б. что-нить когда-нить и понадобится. И м.б. даже в ближайшее. Цитата(Bios71 @ Sep 26 2018, 09:45) ... ПС: до собственного 10GHz осцилогрофа осталось пол шага? Ну, осциллограф на 10G - это не столь интересно и весело, если речь о ёмкости канала. Таки, штуковина локальная, лучше всё заливать в один флакон. Но за то, что подняли тему, отдельное спасибо. Иной раз ищешь что-нить такое, и хрен найдёшь, особливо в России.
|
|
|
|
|
Sep 27 2018, 13:47
|
Местный
Группа: Свой
Сообщений: 451
Регистрация: 6-09-05
Из: Москва
Пользователь №: 8 284
|
Цитата Тут бы поиграть со скоростю записи, принудительно опуская ее с 11000-13000Мб до уровней когда включение проверки перестанет провоцировать "проседание" приема/записи, и тогда анализировать имеющиеся/достигнутые цифры. Да, здесь я уже столкнулся с ограничением скорости по проверке данных. Мой алгоритм проверки успевает работать на скорости до 13280 Мбайт/с с системной памятью и 12635 Мбайт/с с пользовательской памятью. В качестве тестовых данных я использую счётчик 64 разряда. Кстати, я обнаружил что компьютер с памятью DDR3-1866 работает быстрее чем DDR4-2133. Следующим этапом я хочу передавать данные непосредственно в память графического процессора NVIDIA. И использовать его возможности для проверки и обработки данных. По отдельности платы уже работают, а вот запустить их вместе всё никак не соберусь. Цитата(prig @ Sep 27 2018, 10:50) А для всё ещё горячих(в прямом и переносном) 100G желательно иметь что-нить покруче Virtex 7 и PCI Express v3.0. PCI Express 3.0 x16 как раз подходит для одного канала 100G. Такая плата у нас есть в разработке, но вот когда она появиться я уже не знаю. Там будет использоваться Kintex UltraScale+ KU11P. Наработки по PCI Express будут перенесены на новую плату.
|
|
|
|
|
Sep 27 2018, 15:36
|
Знающий
Группа: Свой
Сообщений: 869
Регистрация: 30-01-08
Из: СПб
Пользователь №: 34 595
|
Цитата(dsmv @ Sep 27 2018, 16:47) ... PCI Express 3.0 x16 как раз подходит для одного канала 100G. Такая плата у нас есть в разработке, ... Ну, в части "подходит" не всё так однозначно. С одной стороны, та же обработка пакетов даже для одного 100G - задача серьёзная. С другой стороны, зачастую предпочтительна кратность 2. И по портам, и по ёмкости каналов на "матерь" или бэкплейн. Если этого нет, возможный круг задач, решаемый такой платой, может сильно сузиться. Например, резервирование разного уровня. Есть и другие моменты, когда эта 2-ка востребована. Но это так, лирическое. Один порт 100G - тоже весьма (самому не довелось, но представление есть). Главное, ч.б. работал. Однако, если будете допиливать на PCI Express 3.0 x16, таки поставьте на FMC второй разъём под оптический модуль. Вроде как, и соответствующих трансиверов как раз должно быть 8шт, а разъём много денег не скушает. С ультраскейлами оно конечно интересней. Что там с трансиверами/стандартами, я навскидку не вспомню. Но если есть возможность, на пару портов под оптику тоже лучше закладываться. Впрочем, это я так, на всякий. Думаю, Вы в курсе. А удастся ли это продать, будем поглядеть. Надеюсь, что да.
|
|
|
|
|
Sep 27 2018, 16:56
|
Местный
Группа: Свой
Сообщений: 451
Регистрация: 6-09-05
Из: Москва
Пользователь №: 8 284
|
Цитата(prig @ Sep 27 2018, 18:36) Ну, в части "подходит" не всё так однозначно. С одной стороны, та же обработка пакетов даже для одного 100G - задача серьёзная. С другой стороны, зачастую предпочтительна кратность 2. И по портам, и по ёмкости каналов на "матерь" или бэкплейн. Конечно это всё не просто, PCIe 3.0 x16 и 100G подходит по порядку скоростей ~10Гбайт/с. Обработка пакетов затрудняется маленькими размерами пакетов, но над обработкой я работаю, пока для варианта 10G. Кратность 2 предусмотрена, у нас есть и FMC субмодуль с двумя QSFP, и другой FMC где восемь SFP. На новой плате также заложено два QSFP. ПЛИС KU11P как раз имеет два аппаратных узла 100G, так что всё совпадает. У конкурентов похожие платы уже есть - там один или два QSFP, PCIe, память.
|
|
|
|
3 чел. читают эту тему (гостей: 3, скрытых пользователей: 0)
Пользователей: 0
|
|
|