Конечно, прежде, чем делать фильтр нужно синтезировать математический прототип, найти матрицу связи. Можно найти, как это сделать именно для такого фильтра, в статье Albert E. Williams "A For-Cavity Elliptic Waveguide Filter", IEEE MTT-18, No 12, Dec 1970, pp. 1109-1114 Кстати, там диафрагма рассчитывается с помощью теории малого отверстия и магнитной поляризуемости, никакой сложной электродинамической задачи решить не надо. Хотя написано "Четырехкамерный", но он черыпехмодовый, но двухрезонаторный.
В статье Kawtar A. Zaki "Synthesis of General Topology Multiple Coupled Resonator Filters by Optimization" матрицу находят путем оптимизации, причем в качестве начального приближения можно просто брать 1 для членов отличных от нуля. Но этот метод годится, если у Вас есть хорошая программа многомерной оптимизиции.
Я могу выслать Вам эти статьи, отправьте мне в личку Ваш мейл, а то я думаю, что наш диалог уже утомил посетителей форума.