В этой статье http://www.complextoreal.com/chapters/ofdm2.pdf приведен (стр. 19) пример спектра OFDM сигнала с -55 dB внеполосных шумов без дополнительной фильтрации.

Как они такой получили? У меня ни при каких обстоятельствах не получается сделать так-же. Спектр по уровням похож на спектр обычного ФМ сигнала.

Какой-то грубоватый там рисунок. А сколько у вас поднесущих? Как спектр смотрите?

1024 как и в доке. С расстановкой в 1 кГц и несушей с центром в 20 Мгц (Fd=60МГц).

Спектр сморю матлабом.

Непонятно по какому уровню она там в доке смотрит. Конечно спектр OFDM c 1024 поднесущими должен намного быстрее спадать чем спектр PSK. Сглаживания импульсов как она пишет нету, значит такой же результат у вас должен быть если всё правильно.

Да подозрительный рисунок, какой-то. Неможет быть там -50дБ ( имею ввиду точку пересечения графика и оси Y). Скорее всего уровень 0 дБ соответсвует +10..15 дБ относительно уровня сигнала в полосе. Итого внеполосный уровень порядка -30.. -40 дБ.
Можно более правдивую картинку посмотреть в DVB-T стандарте (Figure 12):

ETSI EN 300 744 V1.4.1