Проделано следующее:
1. Логику работы ФАПЧ проверил - "битик" F2 в слове состояния установлен правильно: при уменьшении частоты вниз напряжение на выходе RC фильтра увеличивается (проверено при разомкнутой петле ФАПЧ).
2. RC фильтр пытался считать с помощью утилиты (см. вложение). Но те значения, что получились, оказались слишком маленькими. Упрощение фильтра вплоть до простой RC цепи приводит к полной нестабильности напряж регулирования - там такая "болтанка" идет - ужас...
3. В даташите конечно видел ограничения на мин вх частоту по входу Fn, но... как то не придал этому значения: когда-то делал подобную схему на MC145170-2 - там тоже ограничение в 25МГц но работало на 14 MHz нормально. Кроме того, у меня частотомер сделан на ADF4118, счетчики работали нормально и менее чем на 10MHz. Только реф. вход Fr нельзя использовать как частотомер - слишком узкие импульсы даже Атмегой на 12МГц было не поймать. А вот Fn отлично себя показал.
4. По поводу гармоник генератора... Вроде все сигналы в контрольных точках мультиплексора синтезатора в норме. Не думаю, что тут гармоники имеют место быть - тем более схема-то не нова - есть в Инете подобная.
5. Анод варикапа заземлен. Но на катоде нет постоянного напряжения. Хотя по цепи UPLL оно хоть и "пульсирующее" но подводится. ИМХО, на катоде должно быть тоже, что и на выходе RC фильтра.
6. Попробую связь варикапа с контуром уменьшить и еще попробовать другие варианты RC фильтра (кстати, в литературе почему-то не применяются фильтры начинающиеся с резистора - почему?). Мне бы показалось, что они могут быть эффективнее.
7. Хорошо бы просимулировать, но я только начал изучать Микрокап9 (может ли он помочь?), но пока еще рано для плодотворной работы. Прога классная, но быстро не "стартануть"

8. Конечно, есть у меня и К1015ХК3А и MC145170 и 1508ПЛ1. Но... плата уже разведена...