Демодулятор работать будет- он цифровой, только ошибок будет больше при той же напряженности поля на входе- ведь нчасть нуджной для работы энергии из спектра вырезана...А дальность действительно должна упасть.
Имхо, некорректно мерять полосовые свойства тракта ( а вы измеряете именно весь тракт, а не один фильтр) на нулевой частоте модуляции. Я бы производил измерения анализируя выход iq усилителей, и на требуемой частоте модуляции.
Или анализируя количество ошибок на выходе тракта.
...Конечно при девиации в 5кгц будет хуже, ведь индекс модуляции уже не в какие ворота не лезет

проверьте при девиации 5 кгц и скорости 1200 - увидите разницу

или полосу фильтра увеличить попробуйте.