1. Пожалуйста, всегда рад помочь.
2.
Вот демки, которые есть у меня в матлабе. Посмотрите
эту и
эту демки
3. Действительно странно. Наверное я вас недопонимаю. Вы конвертируете фильтр в DFF1 уже после квантования фильтра, построенного со структурой по умолчанию (кажется df2sos) ? Возможно после перевода в другую структуру матлаб пересчитывает коэффициенты фильтра и заданная ранее разрядность уже неоптимальна для них, отсюда неустойчивость и неудовлетворительная АЧХ. АЧХ там выводится, основываясь на коэффициентах. Соответственно структура фильтра ни при чем. Структура фильтра будет влиять уже в процессе фильтрации (переполнения, предельные циклы и прочие неприятности рекурсивности в фикс. точке)
Пользоваться функциями filter design toolbox намного удобнее, быстрее и понятнее