Кажется понял в чем дело - кроме SPICE-моделей транзистора и варикапа я использовал S-параметры конденсаторов и индуктивности колебательного контура. Убрал S-параметры и появилась другая ошибка в поле Status Window:

Если кликнуть на Click for Help, то в хелпе можно прочитать, что можно поиграть какими-то настройками в опциях гармонического баланса, но при этом рекомендуется использовать настройки по умолчанию.

А что конкретно менять и в какую сторону непонятно.