Код понять не могу, т.к. на VB не пишу. Но одно кидается в глаза. У фильтра принято обозначать к-ты числителя ПФ через b, а к-ты знаменателя через A. У вас обозначения наоборот, потому что A[0] должно быть равно 1. Возможно в этом ваша ошибка. Построил в матлабе АЧХ фильтра с приведенными к-тами:
Код
B=[0.000780 0.000000 -0.001561 0.000000 0.000780];
A=[1.000000 -3.469910 4.930680 -3.332800 0.922566];
h = zeros(1,1024);
h(2) = 1;
h = filter(B,A,h);
H = fft(h);
Fs = 11025;
f = Fs*(0:1023)/1024;
plot(f,20*log10(H));
фильтр как фильтр, только В с А местами поменял.