Чтоб понять, правильно ли работает.
Зацепите вход ГУНа на переменный резистор и по частотомеру примерно выведите его на частоту захвата по вашим коэффициентам.
На выходе управления при этом должно появиться биение с разностью между REF каналом и N каналом.
В вашем случае это 960Гц. Тогда вы его должны увидеть и на выходе фильтра петли.
Если биение появилось и его размах равен питанию - замкните петлю, тут же должно захватиться.
Если улетает, значит полярность не совпадает.
Если начинает генерить, это перерегулирование и надо уменьшать петлевое усиление.
Насчёт кодов... не знаю.
Я всегда свою либу пишу.
АД набрало кучу бестолковых индусов на софт и доверия им нет никакого.
Ещё возможен вариант, что вы не прочитали даташит.
А там написано про минимальную рабочую частоту = 80 мгц.

И для счастья видимо надо "подлить" мощности на вход.