Нужна полная версия ADIsimPLL (не демка что на офф сайте аналога)
проблема в невозможности подключения своей модели VCO в демо версии

Никаких проблем, своя модель просто вписывается в любую из стандартных библиотек. Я так добавлял пару ГУНов Z-comm, отстутствующих в стандартной библиотеке. Не помню подробностей, но там либо библиотека тупо в текстовом виде лежит, или вроде припоминается утилитка какая-то прикладывалась для редактирования библиотеки. Если еще актуально - могу посмотреть.