Берем спектроанализатор, подаем сигнал, смотрим по маске. Не влазит.
сужаем фильтр после ЦАП. Не влазит. Сужаем фильтр перед антенной. Ну, должно бы уж наконец..

Собираем приемник (еще лучше - берем готовый), смотрим число ошибок, форму сигнала перед АЦП. Все плохо. Улучшаем параметры синтезатора, усилителей, фильтров, создаем цифровой приемный фильтр.

Дальше - по обстановке..

хм, не серьезно это...
если уж формируешь сигнал в цифровом виде, то делай уж это до конца - формируй и спектр цифровыми трансверсальными фильтрами. Спектр получается красивый (степень прямоугольности зависит от коэф. скругления по Найквисту), да и не надо извращаться с фильтрами на ПЧ/СВЧ.
У меня, в модуляторе QAM16/64 такой набор:
1. ПЛИС Altera Cyclone, в которой реализованы маппер символов, цифровый фильтры, и пр.,
2. квадратурный ЦАП AD9763,
3.LC реконструкционные фильтры по IQ-каналам
4. модулятор AD8345 (AD8346)
5. УПЧ и тд.

интересует сколько емкости кристала занимают вышеизложенные операции
что дополнительно требуется для мапинга 256 при скорости 6900ксимволов
и совсем уж каверзный вопрос -Вы используете это для DVBC??

Качество можно оценить методом демодуляции исходного сигнала демодулятором с известным собственным шумом. Демодулируете, смотрите полученное отношение с/ш, вычитаете собственный шум демодулятора - остаётся только Ваш сигнал и Ваш шум

советую вам купить осцилограф типа Tektronix с опцией аккумуляция м вы сможете построить диаграмму глаз и оценить качество передаваемой даты по раскрытию глаза и джиттера рисунка