Мне показалось что он хочет рассчитывать фильтр на лету, а не в Матлабе
В сети можно найти готовые программы
КИХ-фильтр лучше считать по Ремезу (или McClellan-Parks что то же самое) - короче будет
С-код есть здесь
http://www.janovetz.com/jake/ под именем remez///zip
Можно конечно и по Фурье с окном ....
Здесь полно обучающего материала
http://www.nauticom.net/www/jdtaft/по расчёту цифровых фильтров