Вы хотя бы порядок частот указали. Полосу ФАПа, и много чего еще.
Ладно. У большинства нормальных синтезаторов есть функция лок детект - как правило меряют фазовую з задержку в 3-5 последующих циклах см., например, даташит на ADF4113 какой-нибудь.
Вариант номер2. Джиттер и фазовые шумы взаимосвязаны.
http://www.designers-guide.org/Analysis/PLLnoise+jitter.pdf ,
http://www.metatech.com.tw/doc/appnote-fordahl/e-AN-02-3.pdf или попроще у Максима
http://www.maxim-ic.com/app-notes/index.mvp/id/3359 . Тем более у нас ФАП - готовый инструмент измерения, точнее оценки фазовых шумов. Измерив мощность шумов в петле ФАПа (желательно после усилителя, если он есть) от где-то 100Герц до границы фильтра ФАПа, мы можем оценить фазовые шумы (будем считать, что система спроектирована правильно и амплитудные шумы незначительны), а отсюда оценить и джиттер. Причем неважно чего - сигнала ГУНа или если вдруг испортилась опора. Как-то так.
Да, у Вашего заказчика странное чувство юмора. Заложить критерий, оперативное измерение которого значительно сложнее, чем сама система ИМХО. Лучше поменять ТЗ - использовать готовые фичи ФАПов. Само измерение джиттера (десяток миллисекунд) может оказаться гораздо больше времени захвата самого ФАПа ( у нас обычно десяток микросекунд).
Еще по теме
http://www.rle.mit.edu/isg/documents/Vamvakos_VLSI06.pdf и
http://www.maxim-ic.com/app-notes/index.mvp/id/2744