Реализация PCI-E x4 на Virtex5, Endpoint Block Plus v1.10 for PCI Express Опции

[L_Konstantin]

Имеется собственная плата с FPGA Virtex5, устанавливается в слот PCI-E x4.
В операционке (Винда) собственный драйвер.

При передаче данных по DMA (устройство в режиме master) только в одну сторону, либо операции передачи данных в ПК, либо из ПК, все работает отлично.

Но захотелось большего, и решили запустить full-duplex. И вот здесь возникла проблема: портятся данные, которые приходят из устройства в ПК.
Причем при проведении теста (заполнение памяти устройства константой и ее вычитывание), приложение на компе получает просто странные данные, никаким образом не коррелирующие с исходными. Причем в ChipScope, при попытке обнаружить передачу в EndPoint не заданной константы, этого не обнаружено, что заставляет думать о проблеме с Endpoint либо с его конфигурацией и параметрами...

Есть ли у кого опыть запуска PCIe ядра в дуплексном режиме?

[Methane]

Есть ли у кого опыть запуска PCIe ядра в дуплексном режиме?

У меня нормально работало. Альтера.
А вычитывание регистров итд нормально работало?

Между прочим, а что такое фулл-дуплекс? Кто запросы выдавал, компетишены получал?

[L_Konstantin]

У меня нормально работало. Альтера.
А вычитывание регистров итд нормально работало?

Между прочим, а что такое фулл-дуплекс? Кто запросы выдавал, компетишены получал?

Обращение к BAR - проблем не замечено.
Контроллер TLP уровня и, соответсвенно, разбирание всех пакетов - собственный компонент.

Немного не понял вопрос, поэтому попробую уточнить: когда происходит копирование потоков данных через DMA в память хоста, либо чтение из нее - все ОК.
Проблемы именно когда происходят одновременные операции записи по DMA и чтения - это я и называю Full-Duplex...

[Methane]

Обращение к BAR - проблем не замечено.
Контроллер TLP уровня и, соответсвенно, разбирание всех пакетов - собственный компонент.

Аналогично делал.

Немного не понял вопрос, поэтому попробую уточнить: когда происходит копирование потоков данных через DMA в память хоста, либо чтение из нее - все ОК.
Проблемы именно когда происходят одновременные операции записи по DMA и чтения - это я и называю Full-Duplex...

Все равно не понял. У меня одновременно пахало и чтение и запись. Как данные в FIFO появлялись на burst максимальной длинны, они отправлялись в хост. Когда в FIFO появлялось место на полный burst на чтение, на хост отправлялся запрос на чтение и когда приходил компетишен, он отправлялся в FIFO.

Поясните что у вас.

Может разведено криво, и TX/RX пары наводят друг на друга?

Сильно сомневаюсь.

[L_Konstantin]

Все равно не понял. У меня одновременно пахало и чтение и запись. Как данные в FIFO появлялись на burst максимальной длинны, они отправлялись в хост. Когда в FIFO появлялось место на полный burst на чтение, на хост отправлялся запрос на чтение и когда приходил компетишен, он отправлялся в FIFO.

Поясните что у вас.

У меня два потока данных: устройство одновременно занимается видеозахватом (входной поток порядка 500 Мбит/с) и воспроизведение другого видео из хоста (поток порядка 250 МБис/с).
Соответственно это совершенно независимые потоки - на уровне драйвера они также существуют параллельно.

Первоначально можно было сделать либо видеозахват на все 500 Мбис, либо 250 видеозахват и 250 воспроизведение.
Поэтому Full-Dulpex и необходим чтобы загрузить железку по полной.

[Methane]

У меня два потока данных: устройство одновременно занимается видеозахватом (входной поток порядка 500 Мбит/с) и воспроизведение другого видео из хоста (поток порядка 250 МБис/с).
Соответственно это совершенно независимые потоки - на уровне драйвера они также существуют параллельно.

На чтение, как именно у вас реализовано? Сколько тегов использовано?

Первоначально можно было сделать либо видеозахват на все 500 Мбис, либо 250 видеозахват и 250 воспроизведение.
Поэтому Full-Dulpex и необходим чтобы загрузить железку по полной.

Нет в PCIе такой штуки как фул или халф дуплекс.

[L_Konstantin]

На чтение, как именно у вас реализовано? Сколько тегов использовано?

у меня контроллер TLP представляет собой 2 state-машины (одна на прием данных с шины, вторая на передачу) и собственно арбитра, который обслуживает клиентов (чтения и записи).

Чтение данных из хоста выполняется по классическом схеме: запрос на чтение памяти (RdReq), а затем девайсу приходят пакеты (Cmpl) с запрошенными данными.
Записть данных в хост - просто запись в память по схеме master.

Все транзакции по 4МБ (1024 страницы) для получения максимальной производительности.

[Methane]

Все транзакции по 4МБ (1024 страницы) для получения максимальной производительности.

Это как? Один запрос на 4 мегабайта? (как оно в заголовок влезло?)

[L_Konstantin]

Это как? Один запрос на 4 мегабайта? (как оно в заголовок влезло?)

неправильно выразился...
запросы конечно по 4К, но у меня есть у меня есть 1024 адреса страниц (заранее подготовленных) и соответственно я их обрабатываю за раз - блок получается 4 МБ....

[Methane]

неправильно выразился...
запросы конечно по 4К,

На 99.9% не правильно.

[dmitry-tomsk]

На 99.9% не правильно.

Почему не правильно, в режиме scatter/gather мой контроллер тоже со страницами работает.

[Methane]

Почему не правильно, в режиме scatter/gather мой контроллер тоже со страницами работает.

Запросами какой длинны?

[dmitry-tomsk]

Запросами какой длинны?

запросы со страницами не связаны, они равны mps или mrs. Страницы нужны потому что windows больше мегабайта непрерывный кусок памяти выделять отказывается.

[Methane]

запросы со страницами не связаны, они равны mps или mrs.

Что такое mps, mrs? в корке альтеровской есть регистр, в котором максимальный размер запроса.

Страницы нужны потому что windows больше мегабайта непрерывный кусок памяти выделять отказывается.

page, вообще-то 4килобайта. и пересекать ее нельзя. И линух тоже больше чем сколько-то не дает (не помню сколько) но это можно побороть.

[dmitry-tomsk]

Что такое mps, mrs? в корке альтеровской есть регистр, в котором максимальный размер запроса.


page, вообще-то 4килобайта. и пересекать ее нельзя. И линух тоже больше чем сколько-то не дает (не помню сколько) но это можно побороть.

mps - max payload size, mrs - max read size, определяются чипсетом (root complex), для большинства чипсетов 128 байт. За пересечением границ должен следить автомат, формирующий запросы.

[Fast]

mps - max payload size, mrs - max read size, определяются чипсетом (root complex), для большинства чипсетов 128 байт. За пересечением границ должен следить автомат, формирующий запросы.

если точнее, то они определяются по согласованию между возможностями ОС, чипсета и Core.
а непрерывный кусок памяти ядра windows можно выделить больше 1 Мб, кажется 16... но не помню, давно драйвер писал

Понятно, спасибо. А не наблюдали, случайно, зависания операционной системы при максимальной загрузке приёмной линии? У меня на x1 упорно виснит, если поток данных читать быстрее чем 167 мбайт в секунду, приходится ограничивать скорость чтения (:

ой, че только не наблюдали, висло по разному... и искажения периодически появлялись. В основном правда из-за размеров TLP и DMA-блока данных.

Сидели пыхтели вдвоем, я писал драйвер, а коллега правил обвязку. Сначала подправили кусок кода, чтоб правильно писать в регистры (из ендпоинта) и соотв. читать регистры (из драйвера) флаги о состоянии и готовности буферов. Там была такая фишка, что последний пакет блока не успевал "долететь" в буфер на хост, а драйвер забирал уже весь буфер, т.к. регистры показывали что все готово. Потом на высоких скоростях одно ядро CPU было занято на 100% только на мониторинг регистров и рестарт контроллера, - переписали другой фрагмент обвязки и драйвера. Потом понадобилось пересылать доп. данные - дописали третий, и т.д. много мелких неприятностей, с которыми приходилось бороться днями и неделями

[dmitry-tomsk]

если точнее, то они определяются по согласованию между возможностями ОС, чипсета и Core.
а непрерывный кусок памяти ядра windows можно выделить больше 1 Мб, кажется 16... но не помню, давно драйвер писал


ой, че только не наблюдали, висло по разному... и искажения периодически появлялись. В основном правда из-за размеров TLP и DMA-блока данных.

Сидели пыхтели вдвоем, я писал драйвер, а коллега правил обвязку. Сначала подправили кусок кода, чтоб правильно писать в регистры (из ендпоинта) и соотв. читать регистры (из драйвера) флаги о состоянии и готовности буферов. Там была такая фишка, что последний пакет блока не успевал "долететь" в буфер на хост, а драйвер забирал уже весь буфер, т.к. регистры показывали что все готово. Потом на высоких скоростях одно ядро CPU было занято на 100% только на мониторинг регистров и рестарт контроллера, - переписали другой фрагмент обвязки и драйвера. Потом понадобилось пересылать доп. данные - дописали третий, и т.д. много мелких неприятностей, с которыми приходилось бороться днями и неделями

У меня sgdma режим и кольцевые буферы по 50 МБайт, так что таких проблем не было. А вот чтение виснет, скорость для x1 предельная - чипскоп показывает, что обмен идёт, ошибок нет, а ОС висит мёртво. Как только вставляю паузы в последовательности запросов - всё нормально. Возможно, на x8 hard ip не может полностью загрузить полосу и такого эффекта нет, но проверить пока не на чем. А что за железо у Вас?

[Anatol']

У меня sgdma режим и кольцевые буферы по 50 МБайт, так что таких проблем не было. А вот чтение виснет, скорость для x1 предельная - чипскоп показывает, что обмен идёт, ошибок нет, а ОС висит мёртво. Как только вставляю паузы в последовательности запросов - всё нормально. Возможно, на x8 hard ip не может полностью загрузить полосу и такого эффекта нет, но проверить пока не на чем. А что за железо у Вас?

У нас была похожая проблема.
http://electronix.ru/forum/index.php?showtopic=73356
Вкратце, на дефолтных настройках при слишком бодром потоке данных корка начинала сбрасывать пакеты. А не получив ожидаемого числа пакетов колом может встать уже любая часть системы )
Вылечилось одной галочкой в настройках корки.

[dmitry-tomsk]

У нас была похожая проблема.
http://electronix.ru/forum/index.php?showtopic=73356
Вкратце, на дефолтных настройках при слишком бодром потоке данных корка начинала сбрасывать пакеты. А не получив ожидаемого числа пакетов колом может встать уже любая часть системы )
Вылечилось одной галочкой в настройках корки.

Спасибо за помощь. Правда у меня не вылечилось, да и корка сама не висит, обмен идёт, ошибок не показывает, а windows висит (: