Нужна подстройка частоты модулированного сигнала. Сигнал в виде квадратур, тип модуляции не известен. Сигнал узкополосный, БПФ не желателен.

Несущей или тактовой?
Модуляция линейная?

несущей. модуляция пожалуй линейная, фазовая, частотная в крайнем случае КАМ. Формирующие фильтры...
Если рецепты разные то не страшно

Частотная - нелинейная.
Возведение модулей отсчетов после согласованного фильтра в соответствующую степень. Для квадратных и крестовых QAM - в 4-ю, для M-PSK в M-ю.

Подробности в классике: Mengali U., D’Andrea A. N. Synchronization Techniques for Digital Receivers.

Это если частотная расстройка невелика. Здесь используется оценка фазы, а через нее корректируется частота. Если же расстройка велика, то нужно сначала использовать ЧАП.
Подробнее можете посмотреть в книге Nezami. RF Architectures and Digital Signal Processing Aspects of Digital Wireless Transceivers.

С чем должны быть согласованы фильтры?

С формой сигнальной посылки.

она тоже не известна

Как вариант, заменить согласованный фильтр на ФНЧ. Для ФМ-2 при этом ничего не потеряете в плане энергетики. Для созвездий большой кратности будут какие-то потери...
А так, конечно, если ничего неизвестно, то ничего и не примется. Должны быть априорно известные хоть какие-то данные о сигнале, иначе сама задача бессмысленна.
Еще ведь нужная тактовая частота на согласованного фильтра, есть алгоритмы для её определения, но для этого требуется знать форму посылки.

Как оценить тактовую частоту я знаю. но методика не очень надёжная

Вам надо оценить тактовую, несущую и тип модуляции. После этого сможете подстраивать.

Модуляцию я оцениваю подбором.
Пробую тангенциальный ФАПЧ (tan loop) для ФМН, почему то он даёт погрешность частоты. Формула такая
exp(j*M*arg(sig))
М степень модуляции