Проблема была в моделировании в Momentum. Я использовал 3 intenal порта, как для сигнала, так и для земли, это не правильно. Оказалось что в такой схеме параметры сильно зависят от положения земляного порта.
Для правильного моделирования необходимо использовать
1)либо два internal порта для сигнала с ground reference для каждого порта. Ground ref подключается к экрану.

2) или изменить подложку (slm файл) и убрать самый нижний металл и вместо него поставить идеальную землю.

В данном случае расчет схемы и расчет подложки (функции Грина) проходит быстрее а параметры почти не отличаются от 1 варианта. Поэтому думаю он предпочтительнее.
И в первом и во втором случае сходимость параметров хорошая.
Спасибо Alex_IC за помощь.