Проблема в большой зависимости коэффициента передачи тока оптрона и, задержки и постоянной времени от тока.
Причем постоянная времени зависит от сопротивления коллектора. Для получения нормального (относительно) быстродействия оно должно быть не более нескольких сотен ом.
А чтобы победить генерацию на нелинейности нужно ограничить диапазон изменения тока в светодиод оптрона так, чтобы при любых напряжениях на выходе опера он изменялся от ... до ...
Правильно - вместо одного оптрона использовать пару - один тянет вверх, другой вниз. Тогда даже при небольших изменениях тока можно получить нормальный сигнал. При правильном включении (ток каждого оптрона меняется не более чем в ... раз) получится достаточно высокая линейность и останется только скомпенсировать запаздывание сигнала, тоже близкое к постоянному.
Ну и понятно, не допускать вваливания транзистора оптрона в насыщение.