"Визуально лучше" - это не метрика. EVM в студию. Для одного метода, для другого. Тогда можно сравнивать. Конечная метрика - это конечно uncoded BER, но о чём-то уже можно сказать по EVM.
По теме:
1. Есть ли синхро-вставки, по которым возможно обучение эквалайзера или он полностью слепой?
2. Известна ли модель канала/доступны ли ИХ?
3. Вам может не хватать длины эквалайзера, может быть поиграть этим параметром.
4. Рассматриваете ли вы DFE? Или только FF решения?
5. Учитывая, что ваш канал полагается стационарным (как я это понял), RLS можно не рассматривать, в пределе они сходятся к одной и той же MSE, что и LMS
Исходя из модели канала можно оценить требуемую длину фильтра и значение мю при градиенте. Отдельно взятая реализация ничего не даст, нужно обеспечить некоторое покрытие.
Если используется слепая адаптация, то реализацию стоит сравнить с "идеальным эквалайзером", который обучается по полностью известным данным. Известно, что LMS сходится к оптимальному фильтру Винера, если нет ошибок в решениях (идеальное обучение). Ваша реализация будет хуже этого. Вопрос насколько.
Использование DFE позволит уменьшить длину FF части, что может быть критично, если вы работаете с длинными импульсными. Длинная импульсная = длинная FF часть, сходимость алгоритма тем хуже и сложнее, чем длиннее FF часть.
При слепом обучении LMS не сходится при SER (symbol error rate) большем определенного значения. Можно попробовать CMA. Где-то попадалась статья, как реализовать CMA для многоуровневых созвездий, у самого руки не доходили пока поковырять это.
Книжка по теме.