Привожу осциллограммы на входе/выходе RC-фильтра и на входе/выходе оптрона.

Проверял при разных сдвигах помехи, выяснилось, что помеха не фильтруется, когда
она находится в пределах 50-90 градусов относительно начала периода (синусоиды).

Итого, RC-фильтр нормально работает, помеха нормально фильтруется, Ваша остальная схема тоже нормально работает, а правильная синхронизация с электросетью, если именно это Вам на самом деле нужно, делается на основе ФАПЧ и т.п. Естественно, какие-либо фильтры, искажающие сигнал, при этом надо наоборот убрать.

У Вас оптрон работает как компаратор, то выделяя помеху, то скрывая ее, если она не попадает на границу переключения. Фильтр работает как и положено.

Как можно побороть этот эффект? Чтобы на выходе был чистый сигнал при любых условиях

Вам уже сказали — нужна ФАПЧ.

Обычно для её создания достаточно простого счётчика МК с защёлкой и компаратором, помехи исключаются нелинейным фильтром, например мажоритарной логикой, так что на выходе такой программы легко получается "чистый сигнал при любых условиях".

Plain предложил самое правильное решение, его обычно используют чтобы почистить периодический сигнал, но если нет своего локального генератора на эту частоту или контроллера, то все усложняется.
Мне кажется можно попробовать решить проблему добавив гистерезис в цепь компаратора (диод оптопары). Например последовательно с диодом поставить тиристор на транзисторах, который будет открываться при бОльшем уровне на входе схемы (чем диод оптрона), но уже не закрываться пока напряжение не спадет до 0.