Интересует методика расчета АНАЛОГОВОГО inverse sinc фильтра на выходе DAC для компенсации завала на ВЧ.
После DDS AD9951 стоит LPF 160 МГц, завал на 150 МГц - 4dB.

А если в цифре скомпенсировать завал?

..в dds ad9951 такой функции вроде нет.

...но ведь известно, какая частота на выходе.
Можно цифровой аттенюатор поставить на выходе и выровнять всё до максимального завала.

..если у них моночастоты на выходе то можно , конечно.

Чем больше изучаю этот вопрос, тем больше прихожу к выводу, что надо просто сделать коррекцию усиления выходного каскада, во многих случаях так и делают. Даже в тех DDS где есть коррекция inrse sinc (AD9957), при включении оного получается insertion loss порядка 3 Дб. Фильтр если он фильтр по определению ни сделает доп усиление, он на нч сделает завал, а на ВЧ в лучшем коэффициент передачи будет единица.
Но в тоже время если просто сделать коррекцию с увеличением усиления на ВЧ, то можно усилить вторую и третью гармонику сигналов, которые будут выше 0.3-0.4 от Fs

Можно попробовать перекосить АЧХ фильтра, который у Вас стоит после DDS. Сделайте его модель, например в MWO, (или в любой другой), затем задайте желаемый перекос АЧХ и запустите оптимизацию.
Вполне может быть, что удастся подогнать АЧХ к желаемой кривой за счет некоторого ослабления подавления.
Но есть один минус - при изготовлении будет разброс характеристик из-за допусков элементов. Это тоже можно оценить, задав реальные допуски на катушки и конденсаторы в программе моделирования.

Или использовать Монте-Карло в, например, бесплатном симуляторе LTSpice. Для простых задач осваивается за минуты.

А зачем вообще заваливать рабочие частоты?