Задача нетипичная, но интуитивно....
По диагонали S-матрицы можно оценить/настроить только полосу пропускания. Самый простой путь, если этого достаточно - нарисовать модель конкретно вашей топологии в EM симуляторе и на ней посмотреть, что на что влияет.
Фильтры одного порядка с идентичной SXX могут иметь совершенно разные SXY, например, прямой Чебышев и эллипс будут иметь практически одинаковые возвратные потери, но первый не будет иметь нулей в заграждении, а второй - будет. И, естественно, только по RL вы этого никак не настроете. И TDR тут не поможет.
И, если честно, фильтр всего лишь 4 порядка на частоту всего лишь 1.4GHz не должен требовать настройки

.