Судя по спектру, в принятом сигнале нет особых помех, превышающих полезный сигнал в какой-либо полосе частот. Позже посмотрю поподробнее.
Частота предоставленных в файле I/Q отсчетов для простоты принята равной 1 МГц.

Если я правильно выцедил информацию из предоставленного принятого сигнала, то:
1. Частота I/Q пар равна 4 отсчетам на каждый передаваемый символ
2. Способ модуляции - фазовая модуляция, 8 значений фазы
Могу предположить, что
- есть какой-то фильтр на стороне передатчика для уменьшения межсимвольной интерференции.
- используется цифровой полосовой фильтр на стороне приёмника для подавления внеполосных шумов + аналогичный фильтр на стороне передатчика
Дискретная фазовая модуляция является частным случаем QAM модуляции. Поэтому никаких особых премудростей по поводу фильтрации именно фазового шума я бы не ожидал где-либо встретить. Напрашивается использование адаптивного эквалайзера на строне приемника для подавления межсимвольной интерференции и выравнивания результирующей частотной характеристики (как амплитудной, так и фазовой).