Там же показан фильтр с линейной фазой и таким же импульсным откликом.
Знать бы, что фильтровать, а как, разберемся.

DSP in High Performance Oscilloscopes

Ну вот вам и ответ. Из своего симулятора вы больше ничего не выжмете.
Надо делать перенастраиваемый FIR фильтр на FPGA и переходить на Matlab.
DSP всех побеждает.

Сначала выжму из аналоговой схемы все соки, а потом можно и DSP применить. Кое-что уже есть. Но это другой этап работы и другая тема.

Так вы неправильно выжимаете.
У вас стоит типичная задача синтеза отптимального регулятора. Вам надо вставить специальный компенсатор, не реализуемый в аналоговом исполнении.
Для этого берете инструмент Control System Designer в Matlab-е и правите свою частотную и переходную по науке, а не методом тыка.

Не тыка, а последовательного приближения. Там, особо, нечего тыкать.
А ЦОС налету на 1 ГВыб/с - это круто! Пока мне не по зубам. Можно потом, после захвата сигнала пройтись процессором. Но на краях кадра не хватает данных (перетопчемся - скроем с глаз долой).

По поводу последнего вчера пришла идея. Пишу, чтобы обратно не ушла. Дополнить память сигнала небольшим сдвиговым регистром длиной на количество отведений фильтра КИХ. То есть, увеличить размер памяти, чтобы на краях для фильтра хватало данных. Проще, наверное, между АЦП и памятью вставить, в ПЛИС, естественно. И доступ для чтения из регистра должен быть, конечно.