FMC122P - PCI Express v3.0 x16, Хочу похвастаться Опции

[dsmv]

Всем доброго времени суток.

Хочу рассказать о достижениях в области PCI Express.

У нас в разработке находится модуль FMC122P : http://insys.ru/products/fmc/fmc122p
На нём установлен Virtex 7, который имеет два порта PCI Express v3.0 x8; Эти два порта подключены к коммутатору, а коммутатор подключён к разъёму x16.

Есть интересные результаты по измерению скорости:

• Intel Core i7 3820 P9X79, память DDR3-1866 - 11050 Мбайт/с
• Intel Core i7 3820 P9X79, память DDR3-1600 - 10900 Мбайт/с
• Intel Core i7 5820 X99, память DDR4-2400 - 9000 Мбайт/с

Два модуля FMC122P в компьютере P9X79, DDR3-1866 показывают 11000 Мбайт/с каждый. Но если включить проверку данных, то скорость падает до 7500 Мбайт/с.
В компьютере P9X79 DDR3-1600 при включении проверки скорость также падает до 8500 Мбайт/с
В компьютере P9X79 DDR3-1866 при одной плате и включённой проверке данный скорость не уменьшается - 11050 Мбайт/с
Скорость зависит от активности компьютера, видно что скорость падает при увеличении активности. Все измерения проводились под Windows 7 x64 при непрерывном вводе в буфер размером 1 Гбайт. Интервал измерения от нескольких минут до нескольких часов.

Самое интересное - почему такая маленькая скорость на компьютере Intel Core i7 5820 X99 DDR4-2400
Я ожидал прироста скорости до 12000, а получил снижение до 9000.

[AVR]

http://insys.ru/products/fmc/fmc122p

Эта ссылка не работает, а так - любопытно какую задачу выполняет плата?

[dsmv]

Вот правильная ссылка: http://insys.ru/fmc/fmc122p

На данный момент главная задача этого модуля - показывать какие мы крутые. За полтора года я не смог найти ни одного покупателя.
С одной стороны модуль явно опередил своё время - никому такие скорости не нужны.
С другой стороны - Virtex 7 уже устарел. Сейчас это уже можно сделать на Kintex Ultrascale.

[dsmv]

Появились новые данные по скорости:
- 13 500 Мбайт/с — ввод в буфер размером 1024 Мбайта в системной области памяти
- 13 310 Мбайт/с — ввод в буфер размером 4096 Мбайт в пользовательской области памяти

FMC122P: http://insys.ru/fmc/fmc122p

P.S. 1 Мбайт = 1024*1024 байт.

[Bios71]

Появились новые данные по скорости:
в системной области памяти
в пользовательской области памяти

Раз уж зашел разговор про системную/пользовательскую? Это что?
"Cистемная", это случайно не BIOSом выделенная PCIe устройству(которую это устройство запрашивает/выторговывает) в процессе PCI энумерации?

А пользовательская, это когда уже драйвер под Вин/Линукс запрашивает память себе на "корректную инициализацию и работу?

Сообщение отредактировал Bios71 - Sep 28 2018, 08:27

[dsmv]

Раз уж зашел разговор про системную/пользовательскую? Это что?
"Cистемная", это случайно не BIOSом выделенная PCIe устройству(которую это устройство запрашивает/выторговывает) в процессе PCI энумерации?
А пользовательская, это когда уже драйвер под Вин/Линукс запрашивает память себе на "корректную инициализацию и работу?

Нет. Не так.
Системная память - это память которую приложение может выделить в ядре ОС. Она является непрерывной по физическим и виртуальным адресам.
Пользовательсякая память - это память которую приложение может выделить вне ядра ОС. Вот для неё используется виртуализация на уровне процессора. Как следствие - она является непрерывной по виртуальным адресам но на уровне физических адресов она разделена на страницы по 4 килобайта.

DMA канал работает с физической памятью. Если буфер для DMA выделен в пользовательской памяти, то это достаточно тяжёлый режим. Приходится работать с большим количеством блоков по 4кБайта. Мой контроллер кстати позволяет быстро работать с пользовательской памятью - это одна из наших "изюминок"
Подробнее можно прочитать здесь: http://ds-dev.ru/attachments/download/4

Как оказалось, процессор тоже быстрее работает с системной памятью. Но это требует дополнительных исследований.