100 Ватт - модуль на Kintex UltraScale KU115, Хочу похвастаться Опции

[dsmv]

Здравствуйте,

Хочу поделиться результатами эксперимента проверки FMC132P c Kintex UltraScale KU115 в режиме максимальной мощности.
Достигнута длительная работа (больше часа) при стабильной температуре +78 градусов и потребляемой мощности модуля 105 Вт. ПЛИС потребляет меньше, скорее всего около 85 Вт.
Для проверки разработана прошивка ПЛИС. Вид трассировки - на скриншоте.
В ПЛИС реализованы 35 блоков, каждый из них имеет индивидуальное управление и включает в себя 102 DSP и 34 BRAM. Частота работы - 500 МГц. На вход DSP и BRAM поступает псевдослучайная последовательность, результаты работы каждых двух DSP и двух BRAM сравниваются. Это позволяет выявить одиночные ошибки.
Мощность 105 Вт достигнута при включении 22 блоков. Это 2244 DSP (из 5560) и 784 BRAM. При включении 24 блоков температура достигает +82 градусов и я останавливаю работу.
Все блоки объединены в одну цепочку управления и закреплены в своих областях. Цепочка управления включает 8 сигналов данных и опорный тактовый сигнал 100 МГц. Других сигналов управления нет. Это позволило достаточно экономно управлять всеми блоками. Если кому-нибуть нужны компоненты для реализации цепочки - сообщите, поделюсь.
В ПЛИС также размещены два контроллера DDR4 и контроллер PCI Express. Зелёным и жёлтым цветом выделены два блока из 35.
Первоначальные варианты прошивки разводились примерно за 10 часов, после некоторой оптимизации - за 2.5 часа.
В целом эксперимент показал правильность работы системы питания и системы охлаждения. Теперь можно задуматься об экономии энергии - как надо реализовывать алгоритмы что бы уложиться в 100 Вт.

[rloc]

Хочу поделиться результатами эксперимента проверки FMC132P

Кто такой щедрый, что не задумываясь купит XCVU7P-2FLVB2104 ?

[dsmv]

Кто такой щедрый, что не задумываясь купит XCVU7P-2FLVB2104 ?

Здесь установлена XCKU115-3FLVB2104
Люди задумываются, но покупают.

[rloc]

Здесь установлена XCKU115-3FLVB2104
Люди задумываются, но покупают.

Просветите, для каких задач нужны такие мощности (вычислительные)?

[dsmv]

Просветите, для каких задач нужны такие мощности (вычислительные)?

Радиолокационные задачи являются безразмерными.

[rloc]

Радиолокационные

Знаком немного. Единственное, что приходит в голову - ФАР, где обработка каждого элемента (может быть несколько тыс.) делается централизовано. Решение таких задач чаще лежит в плоскости грамотного построения распределенной системы вычисления, заодно снижается нагрузка по передачи данных. Оправдать применение объема FLVB2104 крайне сложно.

[RobFPGA]

Приветствую!

... Оправдать применение объема FLVB2104 крайне сложно.

Это вы не видели систем где модулей на таких чипах стоит несколько сотен и на каждом модуле не по одному похожему чипу .

Удачи! Rob.

[rloc]

В госзаказах видел, а там где считают - нет. В первом случае говорить об оправданности применения смысла нет.

[dsmv]

Ну например есть очень простая задача сжатия ЛЧМ сигнала методом быстрой свёртки.
А далее простым увеличением количества отсчётов можно дойти до предела на любой ПЛИС.

[rloc]

Согласен, на конкретных примерах легче разобраться. Читал ваши статьи или ваших коллег на хабре по БПФ. Как помню, пишите сами, со своей арифметикой. Вкратце, можете описать тип алгоритма? Ресурсы на один блок вычисления для определенного произведения полосы на кол-во отсчетов? По R22 с увеличением отсчетов при широких полосах (допустим выше 100 МГц) быстрее заканчивается внутренняя память, а внешнюю не удается эффективно использовать из-за малой ширины.

[dsmv]

Про БПФ пишет Александр Капитанов.

Вот например картинка как ложатся БПФ и ОБПФ размером 64К в ПЛИС Virtex 7 VX1140. В этой ПЛИС 3360 DSP, т.е. она меньше чем KU115 в которой 5560 DSP. Но масштабы сравнимые.
А вот теперь увеличиваем размер БПФ и ОБПФ до 256К. Это уже займёт больше половины ПЛИС. Это при том, что мы используем собственный формат с плавающей точкой размером 23 бита.
Если FFT от Xilinx с плавающей точкой 32 бита, то скорее всего вообще не поместиться.
Здесь используется классические алгоритмы БПФ и ОБПФ с прореживанием по частоте и по времени. А также совершенно классическое представление числа с плавающей точкой. Вот только размеры мантиссы и экспоненты подобраны так, что они оптимально ложились на архитектуру DSP блока Xilinx. Подробнее - на Хабрахабр:
Реализация узла БПФ с плавающей точкой на ПЛИС
Custom floating point format on FPGA

[rloc]

Вот например картинка как ложатся БПФ и ОБПФ размером 64К в ПЛИС Virtex 7 VX1140. В этой ПЛИС 3360 DSP, т.е. она меньше чем KU115 в которой 5560 DSP. Но масштабы сравнимые.
А вот теперь увеличиваем размер БПФ и ОБПФ до 256К. Это уже займёт больше половины ПЛИС.

По картинке не очень понятно, какой объем. В оптимальном случае, для R4 увеличение вычислительных ресурсов составит log4(256k)/log4(64k)=9/8 = 12.5 % (по умножениям), по памяти соответственно в 4 раза. Но данных по памяти нет, выводов по ресурсам сделать нельзя.

[dsmv]

По картинке не очень понятно, какой объем. В оптимальном случае, для R4 увеличение вычислительных ресурсов составит log4(256k)/log4(64k)=9/8 = 12.5 % (по умножениям), по памяти соответственно в 4 раза. Но данных по памяти нет, выводов по ресурсам сделать нельзя.

Это не для режима pipeline. В этом режиме нарастание идёт практически линейное. Посмотрите таблицу в разделе "Общий объём ресурсов" https://habr.com/post/322728/
Используется Radix-2

[blackfin]

Используется Radix-2

Учитывая ёмкость современных ПЛИС и скорость современных АЦП и ЦАП, чистый Radix-2 сейчас вряд ли кому будет интересен.

[dsmv]

Учитывая ёмкость современных ПЛИС и скорость современных АЦП и ЦАП, чистый Radix-2 сейчас вряд ли кому интересен.

Абсолютно верно. Есть возможность сделать Radix-4 и Radix-8. А также повысить точность и сделать 32-х битную плавающую точку, но не в формате IEEE.
Как только появиться необходимость - это будет сделано.

Как и ожидалось, память закончится раньше, а с оптимизированным алгоритмом R4 или R22 DSP48 потребуется еще меньше. Пока не вижу смысла использовать ПЛИС с большим кол-вом DSP48.

Скорее всего раньше закончиться резерв по мощности или по возможности охлаждения. Вот сейчас работает 40% DSP и это предел по возможности охлаждения. Если чуть-чуть улучшить радиатор, то будет предел по мощности. А возможность подведения большой мощности определяется в первую очередь размером корпуса и количеством контактов питания.

[rloc]

Скорее всего раньше закончиться резерв по мощности или по возможности охлаждения. Вот сейчас работает 40% DSP и это предел по возможности охлаждения. Если чуть-чуть улучшить радиатор, то будет предел по мощности. А возможность подведения большой мощности определяется в первую очередь размером корпуса и количеством контактов питания.

Дмитрий, переход на другие алгоритмы преобразования позволит раза в 2 снизить мощность, не только за счет уменьшения DSP, но и меньших внутрикристальных пересылок, коммутаций, обращений к памяти. Не согласен с подводимой мощностью. У вас питание подводится с одной стороны, что по результатам симуляции чаще приводит к неравномерному распределению токов по выводам, а фактически это эквивалентно меньшему корпусу. Эффективность танталовых конденсаторов при больших пульсациях тока близка к 0, пусть даже мультианодных. И все работает, как видим. Статическое потребление неиспользуемых DSP тоже не маленькое.
Для задач FFT стоимость FMC132P избыточна раз в 10.