По модели:
1) К сожалению, у вас не очень хорошо оформлена модель. Рекомендуется разделять по разным подсистемам группы элементов. В вашем случае надо, как минимум, разделить сам объект управления и регуляторы. Т.е. создать одну подсистему, в которой вся механика, привод и датчики, и вторую подсистему, в которой регуляторы. Соответственно, от второй к первой идет сигнал управления, а от первой ко второй - сигналы от датчиков. Это позволит в дальнейшем продуктивнее работать с моделью, поддерживать ее и даже кому-то передавать. При этом первую подсистему так же можно делить на блоки. Есть такое эмперическое правило - не более 8-10 элементов в одной логической группе (в одной подмодели).
2) На данный момент я вижу, что угол измеряется в градусах, а скорость в радианах в секунду.
3) Перед PID гиро и PID энкодер стоят множители K и K1, а после сумматора - множитель K2. Эти множители относятся к регулятору или они как-то связаны с самой системой, двигателем, датчиками? Чтобы таких вопросов не было, как раз и надо делить систему на логические подсистемы.
4) А почему у вас люфт стоит перед двигателем, т.е. в канале управления? Разве в sim mechanics нету нормального механического люфта? Я сам не знаю, я с sim mechanics не работал.
5) Не увидел в модели трения. Странно для детального моделирования механической системы. Я его пропустил?
6) А так же не увидел динамику самого двигателя. Вы ею сознательно пренебрегаете?
По управлению.
1) Когда я предлагал сглаживающий фильтр, я имел ввиду в канал задания, т.е. между switch и сумматором. Это не будет задержкой управления, если только у вас не накручено еще контуров управления сверху, не показанных в модели. Если же такие контура есть, то это они должны заботиться, чтобы не было скачков в задании. С выбранной вами структурой регулятора нельзя избавиться от скачков управления: из-за скачка в задании у вас возникает скачок в ошибке, а он через пропорциональный коэффициент в PID энкодера проходит прямо в управление. Очевидных решения два. Первое - построение регулятора без пропорциональной составляющей. Второе - формирование гладкого задания. Лучше оба, но вам, как мне кажется, больше подходит второй. Попробуйте поставить на выходе switch апериодическое звено первого порядка 1/(a*s+1). Начните с a=0.01 и поэкспериментируйте.
2) Чтобы говорить про сам контроллер, надо разобраться с K,K1,K2 и с размерностями измерений. Чтобы понять, что же именно является контроллером.