А почему не выразить коэффициенты из формул в даташитах? Для этого они там и даны.

Вот хотя бы для LMX1501A
Fvco = [P*B+A]*(Fosc/R)
Например, нужен ГУН на 150МГц, есть опорник на 10МГц, шаг перестройки ГУНа 100кГц.
У LMX1501A предделитель на 64 => P=64
R = 10МГц / 100кГц = 100
N = 150МГц / 100кГц = 1500
1500/64=23,43 => B=23
A = N - P*B = 1500 - 64*23 = 28
Вот и всё...
ЗЫ. На сайте Analog Device есть программа ADIsimPLL. Она рассчитывает и коэффициенты, и элементы ФНЧ.