Все, вопрос решился. Всем спасибо
Проблема была в том что когда я умножаю коэфициенты увеличивается усилние фильтра, для сохранения прежнего уровня подавления нужно во столько же раз усилить квадратурный канал перед суммированием.
У меня есть книга сергиенко за 2006 год, там на 387 стр. таблица весовых функций, это явно не то. Укажите лучше название раздела.