http://electronix.ru/forum/index.php?showtopic=61830
А вот товарищи давно уже сделали правильный вывод. Но сразу эту ветку я не нашёл.

Просто для меня несколько контринтуитивно, что децимация является нелинейной операцией. Ну подумаешь повыкидывали отсчеты, делов то )

Децимация является линейной операцией (легко проверить, что decim( a+b ) = decim( a ) + decim( b ) и decim( k*a ) = k* decim( a ) ). У нее проблемы с time-invariance Впрочем, также как например и у переноса частоты.

Тогда такое объяснение. Когда при децимации спектр "сближается", из-за уменьшения частоты дискретизации, то нельзя просто накладывать один фрагмент амплитудного спектра на другой для получения результирующей АЧХ. Надо учитывать действительную и мнимую части. Вот если их перемножить комплексно, то и появится завал на краю полосы пропускания.
?

Виноват, исправлюсь. Я имел ввиду linear time-invariant (LTI), использовал только термин linear, забыв про time-invariant. По русски это, если верить Википедии, переводится как "линейная и стационарная". То есть операция децимации линейная, но не стационарная. Так правильней, наверное.

И, да, после добавления в конец скрипта, вот этих строк:
В моей голове всё окончательно уложилось. Собственно передаточная функция фильтра "бегущее среднее" (знакома по расчётам CIC фильтров).

Как-то странно вы матлаб пользуете. Фильтр цифровой, коэффициенты есть, есть готовая функция freqz, операция прореживания эквивалентна ставкой доп нулей между коэффициентами фильтра, легко понять это, анализируя выражение для свёртки.

По поводу цифрового фильтра и функции freqz: фильтр и децимация реализованны в чёрном ящике и нужно получить "натурные" результаты, я не анализирую коэффициенты фильтра (с ними всё понятно), а показываю (чтобы убедиться, что я понимаю правильно), что методика измерения путём подачи на вход ступеньки и затем дифференцирования ответа чёрного ящика (для получения АЧХ, например) неприменима для нестационарной (not time-invariant) системы, коей является дециматор. Более того, даже привожу функцию которая описывает соотношение между "ожидаемым" и "измеренным" результатом.

А по поводу вставки нулей между коэффициентами фильтра -- результат будет отличаться от дифференциала децимированного ответа на ступеньку. КИХ фильтр, как его не крути, будет линеен и стационарен. А вот децимация уже нестационарная (на пальцах: меняется "дельта" времени).

Ещё раз: я спрашивал про неприменимость метода "ступеньку на вход -> дифференциал -> FFT" для построения АЧХ произвольной системы (в частности нестационарной), а не про анализ характеристик фильтра.