Здравствуйте,

Хочу поделиться результатами эксперимента проверки FMC132P c Kintex UltraScale KU115 в режиме максимальной мощности.
Достигнута длительная работа (больше часа) при стабильной температуре +78 градусов и потребляемой мощности модуля 105 Вт. ПЛИС потребляет меньше, скорее всего около 85 Вт.
Для проверки разработана прошивка ПЛИС. Вид трассировки - на скриншоте.
В ПЛИС реализованы 35 блоков, каждый из них имеет индивидуальное управление и включает в себя 102 DSP и 34 BRAM. Частота работы - 500 МГц. На вход DSP и BRAM поступает псевдослучайная последовательность, результаты работы каждых двух DSP и двух BRAM сравниваются. Это позволяет выявить одиночные ошибки.
Мощность 105 Вт достигнута при включении 22 блоков. Это 2244 DSP (из 5560) и 784 BRAM. При включении 24 блоков температура достигает +82 градусов и я останавливаю работу.
Все блоки объединены в одну цепочку управления и закреплены в своих областях. Цепочка управления включает 8 сигналов данных и опорный тактовый сигнал 100 МГц. Других сигналов управления нет. Это позволило достаточно экономно управлять всеми блоками. Если кому-нибуть нужны компоненты для реализации цепочки - сообщите, поделюсь.
В ПЛИС также размещены два контроллера DDR4 и контроллер PCI Express. Зелёным и жёлтым цветом выделены два блока из 35.
Первоначальные варианты прошивки разводились примерно за 10 часов, после некоторой оптимизации - за 2.5 часа.
В целом эксперимент показал правильность работы системы питания и системы охлаждения. Теперь можно задуматься об экономии энергии - как надо реализовывать алгоритмы что бы уложиться в 100 Вт.

Кто такой щедрый, что не задумываясь купит XCVU7P-2FLVB2104 ?

European Space Agency (ESA) ?

То есть, за каждую CCD ESA платит 412 тысяч $..

Здесь установлена XCKU115-3FLVB2104
Люди задумываются, но покупают.

Так сколько все-таки DSP блоков?

Разведены 3570 DSP (64%)
Работают 2244 DSP (40%)
Работа на частоте 500 МГц

OK. А к чему тогда относится цифра 784? К BRAM ?

Точно. Это 784 BRAM.
Вот не могу написать пост без ошибок, причём на самом видном месте.

Просветите, для каких задач нужны такие мощности (вычислительные)?

Радиолокационные задачи являются безразмерными.

Знаком немного. Единственное, что приходит в голову - ФАР, где обработка каждого элемента (может быть несколько тыс.) делается централизовано. Решение таких задач чаще лежит в плоскости грамотного построения распределенной системы вычисления, заодно снижается нагрузка по передачи данных. Оправдать применение объема FLVB2104 крайне сложно.

А если ФАР размером 128*128 излучателей?

Чем-то надо оцифровать или преобразовать в аналог сигналы для этих элементов. Это "чем-то" во многих случаях позволяет взять на себя задачи обработки.

Приветствую!

Это вы не видели систем где модулей на таких чипах стоит несколько сотен и на каждом модуле не по одному похожему чипу .

Удачи! Rob.

В госзаказах видел, а там где считают - нет. В первом случае говорить об оправданности применения смысла нет.

Ну например есть очень простая задача сжатия ЛЧМ сигнала методом быстрой свёртки.
А далее простым увеличением количества отсчётов можно дойти до предела на любой ПЛИС.

Согласен, на конкретных примерах легче разобраться. Читал ваши статьи или ваших коллег на хабре по БПФ. Как помню, пишите сами, со своей арифметикой. Вкратце, можете описать тип алгоритма? Ресурсы на один блок вычисления для определенного произведения полосы на кол-во отсчетов? По R22 с увеличением отсчетов при широких полосах (допустим выше 100 МГц) быстрее заканчивается внутренняя память, а внешнюю не удается эффективно использовать из-за малой ширины.

Про БПФ пишет Александр Капитанов.

Вот например картинка как ложатся БПФ и ОБПФ размером 64К в ПЛИС Virtex 7 VX1140. В этой ПЛИС 3360 DSP, т.е. она меньше чем KU115 в которой 5560 DSP. Но масштабы сравнимые.
А вот теперь увеличиваем размер БПФ и ОБПФ до 256К. Это уже займёт больше половины ПЛИС. Это при том, что мы используем собственный формат с плавающей точкой размером 23 бита.
Если FFT от Xilinx с плавающей точкой 32 бита, то скорее всего вообще не поместиться.
Здесь используется классические алгоритмы БПФ и ОБПФ с прореживанием по частоте и по времени. А также совершенно классическое представление числа с плавающей точкой. Вот только размеры мантиссы и экспоненты подобраны так, что они оптимально ложились на архитектуру DSP блока Xilinx. Подробнее - на Хабрахабр:
Реализация узла БПФ с плавающей точкой на ПЛИС
Custom floating point format on FPGA

У Xilinx'а есть две реализации FFT - burst_io и pipelined streaming. У вас какая из них реализована?
И с точки зрения реализации FFT на ПЛИС интереснее расход BRAM, а не умножителей. У вас БПФ на 64К сколько съедает блочной памяти?

У нас - pipelined
Для БПФ 64К используется 202 BRAM. у Xilinx - 478.
В статье Капитанова приведена таблица с потребляемыми ресурсами для разных размеров БПФ.
Реализация узла БПФ с плавающей точкой на ПЛИС

OK. Спасибо.

И хочу ещё раз напомнить, библиотека БПФ выложена как OpenSource проект.
https://github.com/capitanov/fp23fftk

Круто. А тепло как отводите? У нас в блоке на 100 Вт ПЛИС-ов, никак не могу добиться от конструкторов эффективного отвода тепла. А тут 100 с одного кристалла.

На модуле мощная система охлаждения. Модуль занимает два слота, установлен мощный вентилятор, обдувается также субмодуль.
Интересно наблюдать что происходит при выключении DSP блоков, температура очень быстро падает от +78 до +50.
И хочу отметить, 105 Вт это со всего модуля. На ПЛИС наверное приходится 85 Вт. Ещё есть куда расти.



Вот вид с другой стороны.

По картинке не очень понятно, какой объем. В оптимальном случае, для R4 увеличение вычислительных ресурсов составит log4(256k)/log4(64k)=9/8 = 12.5 % (по умножениям), по памяти соответственно в 4 раза. Но данных по памяти нет, выводов по ресурсам сделать нельзя.

Это не для режима pipeline. В этом режиме нарастание идёт практически линейное. Посмотрите таблицу в разделе "Общий объём ресурсов" https://habr.com/post/322728/
Используется Radix-2

Для pipeline приводил. R2 по ресурсам DSP48 растет конечно быстрее R4, но не настолько.

Нажмите для просмотра прикрепленного файла

Приведу еще раз ресурсы VX1140T: DSP48 = 3360, BRAM18 = 3760

Экстраполируя данные по таблице, получаем для 256K: DSP48 ~ 93, BRAM18 ~ 800

Как и ожидалось, память закончится раньше, а с оптимизированным алгоритмом R4 или R22 DSP48 потребуется еще меньше. Пока не вижу смысла использовать ПЛИС с большим кол-вом DSP48.

Приветствую!

FFT/IFFT это не предел сложности DSP обработки - у меня были системы в которых 70% ресурсов кристалла были заняты обработкой того что входило и выходило из/на них. И если б в то время у меня были такие чипы то можно было б еще немножко усложнил обработку - процентиков на 300-400. . А не мудохатся с несколькими чипами.

Успехов! Rob.

Если не сложно, то по порядку:
1. Постановка задачи.
2. Решение.
3. Результаты в цифрах.

Про локацию не могу ничего сказать, но общее соображение такое. Если задача масштабируемая, то можно любую плис исчерпать. Взлом паролей, майнинг, поиск чисел Мерсенна и т.п.

Учитывая ёмкость современных ПЛИС и скорость современных АЦП и ЦАП, чистый Radix-2 сейчас вряд ли кому будет интересен.

Абсолютно верно. Есть возможность сделать Radix-4 и Radix-8. А также повысить точность и сделать 32-х битную плавающую точку, но не в формате IEEE.
Как только появиться необходимость - это будет сделано.



Скорее всего раньше закончиться резерв по мощности или по возможности охлаждения. Вот сейчас работает 40% DSP и это предел по возможности охлаждения. Если чуть-чуть улучшить радиатор, то будет предел по мощности. А возможность подведения большой мощности определяется в первую очередь размером корпуса и количеством контактов питания.

Уже сделано.. Только не FP и не pipelined..

Кстати, ходят упорные слухи, что новым массовым чипом будет XCVU9P. особенно в корпусе FSGD2104. Как Kintex-325T сейчас, который можно купить дешевле младших вариантов.
XCVU9P стоит у Amazon и в VCU1525. Возможно, интерес Амазона, Байду, а также массы разнородных майнеров сделает эту модель намного доступнее всей остальной линейки US+.

А можете назвать цену? Если не секрет, конечно..

На али по 120$ и даже меньше, и это поштучно.

UPD: Кстати о цене XCVU9P - розничная цена на плату DK-U1-VCU1525-A-G 4835$ на avnet, майнеры планируют сделать аналогичную серийную плату дешевле 4к$, интересно через сколько лет сама плис будет баксов по 400

Бывают случаи, когда других просто не предлагают. Вот нам, например, необходимо использовать архитектуру на базе VPX. Применение - HVDC. Т.е. по функциональности всего ничего, а требования к надежности и наработке на отказ - почти космические.
Проектов не так много, так, что разрабатывать свою плату под свои нужды нет смысла, вот и используем готовые модули. И что есть из ПЛИС на рынке? Ну вот это, например. У других производителей то же самое - выбор только из крупных ПЛИСняков.

ПС кстати, так как VPX позволяет рассеивать дофига мощности и указанный выше модуль может рассеивать до 75Вт, тоже интересно когда нибудь забить его до отказа и посмотреть, насколько хорошо товарищи развели плату. Интересно, может у них уже есть соответствующие прошивки?

Дмитрий, переход на другие алгоритмы преобразования позволит раза в 2 снизить мощность, не только за счет уменьшения DSP, но и меньших внутрикристальных пересылок, коммутаций, обращений к памяти. Не согласен с подводимой мощностью. У вас питание подводится с одной стороны, что по результатам симуляции чаще приводит к неравномерному распределению токов по выводам, а фактически это эквивалентно меньшему корпусу. Эффективность танталовых конденсаторов при больших пульсациях тока близка к 0, пусть даже мультианодных. И все работает, как видим. Статическое потребление неиспользуемых DSP тоже не маленькое.
Для задач FFT стоимость FMC132P избыточна раз в 10.

А в плавучке потребление зависит от уровня сигнала?

Хочу напомнить, что вопрос с FFT возник как пример задачи которая может загрузить эту ПЛИС. Если Вы считаете что для БПФ не нужна такая ПЛИС я могу с этим согласиться. Мне в общем то всё равно.
В данный момент я разработчик аппаратуры. Эта плата результат большой и сложной работы нашей компании. Этим тестом я показал что плата может работать с потребляемой мощностью 100 Вт. Как там распределиться эта мощность по DSP, BRAM, интерфейсам - это отдельная и сложная задача. Ресурсы всегда ограничены. Всегда что-то заканчивается, DSP блоки, память, пропускная способность интерфейсов, деньги, время, терпение заказчика, терпение разработчика. Это дорогая плата с большой ПЛИС и большим потреблением. Она даёт большие возможности по реализации Ваших алгоритмов. Если алгоритмы требуют таких ресурсов - берите эту плату, если не требуют - можно использовать что то попроще.

Плата интересная, на неё ещё можно установить HMC - Hybrid Memory Cube. И объединить несколько плат через HMC. Мы этого ещё не делали, но это тоже открывает дополнительные возможности по обработке данных.

из платы на KU115 можно выжать 150-200 Вт на разъёме питания. 150 Вт можно наверняка. на 200 можно пойти, если вообще всё в ней включить на частотах 500-600.

и данные ближе к случайным нужны.

В корпусе 2104 около 100 линий питания. На каждый вывод 1А. Напряжение 0.95 В. Так что безопасно можно подвести 100 Вт - далее возможно разрушение контактов.
Так что разогнать можно, вот только сгорит.

А есть такие данные, что именно сгорит? Я думаю, мало кто пробовал, ибо просто плат таких нет или почти нет.

Сомнительно, что именно ток через каждый вывод питания ограничивает безопасно подводимую мощность.

По крайней мере у Xilinx'а есть XAPP1301, в которой рассмотрен один и тот же проект, разведенный в двух различных корпусах D2104 и B2104.
И в обоих случаях на ПЛИС выделяется 150 Ватт мощности:

Уже третья страница, а о чём тема... Ежели надо, банально заморозить азотом, в чём достижение-то, у кого малиновый галстук дороже, что ли.

А это откуда такая оценка - 1А на вывод?

Жаль только что только 1 148 участников форума посмотрели, а 5 000 читателей КиТ это не видят...
Дмитрий, может решитесь нам материалы прислать. Ведь и фотки и текст у Вас уже есть, а много и не надо. Пусть хоть короткий материал, но будет.

Тема, в общем, нормальная. Азота ведь не будет.

Теперь интересно узнать, откуда ограничение на ток через вывод, я от разных людей подобную оценку слышал. Семинар что ли был какой-то на эту тему.

В UG583 есть полезная таблица:
Нажмите для просмотра прикрепленного файла

Для кристалла XCVU09P в корпусе FSGD2104 с его 137 выводами VCCINT находим ток через каждый пин VCCINT:

I_VCCINT = 217/137 = 1.58 А

Спасибо. Но это ведь при 100 градусах Цельсия. При 50-60 уж можно 2-3 А на вывод.