Хорошо бы построить 2 характеристики на модели:
- Дискриминационная хар-ка: петля разомкнута, частоты опорного и ведомого генератора равны, меняете сдвиг фаз между опорой и ведомым в диапазоне

. Усредняете сигнал на выходе дискриминатора. Строете зависимость. Смотрите, что наклон характеристики соответствует наклону характеристики управления ведомого генератора. Часто бывает, что ошибка в знаках.
- Динамическая хар-ка: петля замкнута, частоты опорного и ведомого генератора равны, сдвиг фаз между опорой и ведомым в момент времени

соответствует максимуму (или минимуму) на дискриминационной хар-ке. Смотрите характер затухающего процесса и насколько он соответствует параметрам ПФ.
Обычно этого достаточно, чтобы понять, где ошибка.