Скорость передачи данных по PCIe, Низкая скорость Опции

[chaika_sv]

Добрый день.

У меня есть устройство — ПЛИС (Xilinx® Spartan-6 FPGA SP605). Моя задача сейчас добиться быстрого обмена по PCIe между этим устройством и компьютером.

Конфигурация PCIe v1.1, ширина x1. Как я понимаю, максимальная скорость для такого PCIe — это 250 МБ/с. Из этих 250 МБ/с я расчитывал выжать хотя бы половину, т.е. 125 МБ/с, но не могу получить даже такой производительности.

Сначала я написал KMDF-драйвер, работающий в режиме PIO и увидел скорость 200 Мбит/с (т.е. всего 25 МБ/с). В результате пришёл к выводу, что нужно использовать DMA. У меня на ПЛИС собственного DMA-контроллера нет. Системный контроллер на материнской плате я использовать также не могу. Пришёл к выводу, что нужно использовать режим Bus Mastering для PCIe.

По режиму Bus Mastering нашёл на сайте Xilinx такой документ. Ознакомился, скачал прилагаемый архив (в составе архива: прошивка для платы, драйвер и приложение для тестирования). Всё установил, запустил приложение для тестирования, которое определяет скорость передачи. Приложение показало скорость записи примерно 800 Мбит/с, а скорость чтения — 600 МБит/с (т.е. 100 МБ/с и 75 МБ/с соответственно в режиме Bus Mastering). Такие скорости меня явно не устраивают

Вопросы. С чем могут быть связаны такие низкие скорости? На что ещё можно обратить внимание для повышения скорости передачи?

C уважением,
Чайка Сергей

[Voiceц]

Сергей, напишите, пожалуйста, конфигурацию оборудования, на котором проводили тестирование. Я надавно проводил аналогичные тесты для своего проекта, и получил на двух разных стендах скорости чт/зп 460/300 МБ/с и 820/375 МБ/с. Не правда ли, поразительная разница? Для 1-lane получал скорости в зависимости от стенда и ОС от 140/120 до 180/160.
Может, стоит над сим задуматься и попробовать другой ПК?

[FLTI]

Сергей, напишите, пожалуйста, конфигурацию оборудования, на котором проводили тестирование. Я надавно проводил аналогичные тесты для своего проекта, и получил на двух разных стендах скорости чт/зп 460/300 МБ/с и 820/375 МБ/с. Не правда ли, поразительная разница? Для 1-lane получал скорости в зависимости от стенда и ОС от 140/120 до 180/160.
Может, стоит над сим задуматься и попробовать другой ПК?

Не могли бы Вы более конкретно рассказать о том, на матерях с какими чипсетами и на каких ОС получаются самые высокие , и на каких - самые низкие результаты и с чем это связано ?

[Костян]

Не могли бы Вы более конкретно рассказать о том, на матерях с какими чипсетами и на каких ОС получаются самые высокие , и на каких - самые низкие результаты и с чем это связано ?

у altera-ы приведен список скоростей для разных материнок.
AN431
И судя по документации на чипсет X58 payload у него не менее 128
http://www.evga.com/support/manuals/files/132-BL-E758.pdf

[FLTI]

у altera-ы приведен список скоростей для разных материнок.
AN431

Никакого списка скоростей для материнок в AN431 я не нашёл. На какой странице?

И судя по документации на чипсет X58 payload у него не менее 128

А вот по поводу payload для X58 Xilinx в XAPP1052 считает иначе:
The x58 supports up to 256 byte maximum payload size (MPS), and the x38 supports up to 128 byte MPS.
Хотя конечно "не менее 128" и "up to 256 byte" в итоге могут означать одно и тоже )

[Костян]

Никакого списка скоростей для материнок в AN431 я не нашёл. На какой странице?

Прошу прошения , an456 стр 20. Там явно видно, что intel выигрывает у остальных. Побаловатся заказал себе H67 - это последователь X58. Сейчас работаю с nvidia. Как будет новая материнка, смогу написать некоторые выводы по скорости.

А вот по поводу payload для X58 Xilinx в XAPP1052 считает иначе:
The x58 supports up to 256 byte maximum payload size (MPS)

считает то он иначе, но как передать 256B , тогда как windriver поддерживает макс 64B не понятно.

[dmitry-tomsk]

Прошу прошения , an456 стр 20. Там явно видно, что intel выигрывает у остальных. Побаловатся заказал себе H67 - это последователь X58. Сейчас работаю с nvidia. Как будет новая материнка, смогу написать некоторые выводы по скорости.



считает то он иначе, но как передать 256B , тогда как windriver поддерживает макс 64B не понятно.

при чём здесь windriver? Он только выдаёт команды в цпу для чтения-записи памяти. Поэтому больше 64 бит и нельзя, любой драйвер это не позволит если нет такмх инструкций у цпу! Другое дело либо сам чипсет соберёт несколько обращений к памяти в одно, либо использовать бас мастер в плисе, тот всегда использует max payload size (max read size) который позволяет материнка. В любом случае бас мастер выгоднее - меньше нагрузка на цпу

[Костян]

либо использовать бас мастер в плисе, тот всегда использует max payload size (max read size) который позволяет материнка. В любом случае бас мастер выгоднее - меньше нагрузка на цпу

Тогда получается слудующие
1. ПЛИС выставляет на шину запрос чтения/записи в память с PAYLOAD равной максимальной
2. Материнка без участия CPU принимает запрос и дает на него ответ макс длины

Верно ?

[dmitry-tomsk]

Тогда получается слудующие
1. ПЛИС выставляет на шину запрос чтения/записи в память с PAYLOAD равной максимальной
2. Материнка без участия CPU принимает запрос и дает на него ответ макс длины

Верно ?

По первому пункту верно. Запись в память PC производится пакетами максимальной длины max payload size. А вот чтение - нет. Запрос на чтение идёт max read size, а ответы, как правило, разделены по RCB границе (64 или 128 байт). На наших материнках это было 64 байта. Возможно, новейшие чипсеты и могут возвращать и полные пакеты без дробления, спецификацией pcie это разрешается.

[Костян]

По первому пункту верно. Запись в память PC производится пакетами максимальной длины max payload size.

Спасибо. По записи в память PC еще вопросы есть.

Может ли ПЛИС послать пакет записи в память MWr ? Данный пакет не требует ответа. И CPU не будет занят в его обработке.

Иными словами

Может ли в качестве requester выступать ПЛИС при MWr ?

[dmitry-tomsk]

Спасибо. По записи в память PC еще вопросы есть.

Может ли ПЛИС послать пакет записи в память MWr ? Данный пакет не требует ответа. И CPU не будет занят в его обработке.

Иными словами

Может ли в качестве requester выступать ПЛИС при MWr ?

Бас мастер и посылает mwr и mrd пакеты, принимает cpld пакеты. ЦПУ при этом не задействуется.

[Костян]

Бас мастер и посылает mwr и mrd пакеты, принимает cpld пакеты. ЦПУ при этом не задействуется.

спасибо.
Но как быть тогда с физическим адресом ? Например нужно прочитать/записать область ОЗУ в PC. Где гарантия , что ОС не использует данные адресса ?

[dmitry-tomsk]

спасибо.
Но как быть тогда с физическим адресом ? Например нужно прочитать/записать область ОЗУ в PC. Где гарантия , что ОС не использует данные адресса ?

Драйвер выделяет память системную и передаёт её адрес и размер в плис через инструкции чтения/записи памяти (плис работает как слейв), затем только начинается передача данных бас мастером, окончание подтверждается прерыванием, чтобы не опрашивать флаги и не нагружать цпу.