У нас речь идёт о приёме 8PSK сигналов с SNR вплоть до -10. При таких условиях любые дополнительные искажения, вносимые трактом, могут помешать. Нужен именно такой IIR, у которого было бы константное ГВЗ в ППФ не более 20 отсчётов.
Я возможно отстал от жизни, но 8ФКМ на -10 дБ принять нельзя. Для 4ФКМ СШ нужен чуть лучше 1 в очень глубокой теории.
Если Вы там по Уолшам или Голдам размазываете символ во времени с помощью 8ФКМ, то тогда еще поверю. Но итоговая пропускная будет менее 1 Бт на 1 Гц полосы.