Поставьте перскалер 8/9 хотя бы для тестов- у меня прескалер 4/5 "просчитывался" на высоких частотах и не позволял нормально работать схеме автовыборки диапазонов. И вроде были какие то проблемы с MuxOut в режиме автокалибровки, т.е не все типы сигналов можно выдавать наружу в этот момент.
ЗЫ. если заработает - то калибровать VCO на прескалере 8/9, потом запрещеть автокалибровку и переключать на 4/5, хотя это извращение.
Если так дальше пойдет- прийдется ждать вот этого изделия
http://forum.milandr.ru/viewtopic.php?f=7&t=1860 - там хоть можно писать хотелки, пока ТЗ не "утрушено".