так ничего непонятно, пальцем в небо,
у меня все fft xilinx отлично работают и максимум что есть - это результат некругления ДО fft, само fft 40 дб делать не может.
ТЕ шуму у меня равен 0 бин.
И у xilinx я не один пользователь

ТЕ ошибка у Вас.
как сделаны умножители на окна, какая в них разрядность, какое округление, какое окно, тип fft scaled или...
какие разрядности на входе, у коэффициентов , да масса мест где можно залететь.