Винеровская фильтрация vs МНК vs РНК Опции

[Grizzzly]

Немного запутался с минимальной дисперсией ошибки этих алгоритмов.

Оптимальной (в смысле MSE) является винеровская фильтрация. Дисперсия ошибки будет минимальной. Метод наименьших квадратов (МНК, Least Squares (LS)) является детерминированным аналогом винеровской фильтрации. Напрямую МНК не используют, чтобы каждый раз не обращать увеличивающиеся матрицы. Вместо него используют РНК (RLS) алгоритм. Я правильно понимаю, что RLS по сути является эффективной реализацией МНК в плане вычислений, обеспечивая при этом такую же дисперсию ошибки, как тупое вычисление здоровых матриц в МНК? Разве что кроме некоторого переходного процесса при поступлении на вход первых N отсчетов. В литературе приводятся формулы для RLS, но в одной книге нашел, где они обозначаются как LS. То есть в плане дисперсии ошибки LS и RLS абсолютно идентичны?

[Grizzzly]

Спасибо за ответ. Только я имел в виду не LMS, а LS. Сам постоянно путаюсь в названиях, которые исторически так сложилось, но не отражают сути. С LMS понятно. Я чего-то задумался про сравнение RLS и прямой оценке по МНК, при которой на каждом шаге обращались бы матрицы полностью (увеличивающиеся в размерности). По сути ведь в RLS по сравнению с МНК нет никаких аппроксимаций и приближения, значит должны давать одинаковую ошибку, которая хуже Винера, но при бесконечном числе отсчетов на входе стремится к винеровскому решению.

UPD. Добавил картинки.



На первой формула (3.7) - это и есть МНК "в лоб". На второй картинке говорится о дисперсии ошибки оценки для этого метода при большом числе входных отсчетов n. На третьей подчеркнуто, что в RLS (РНК) дисперсия убывает пропорционально отношению (N/n), где N - число коэффициентов. Интересно, а вот как связаны дисперсии ошибки для МНК и RLS (РНК) при малых n. Здесь я подвис. Ведь RLS получается из (3.7) лишь путем различных матричных преобразований. Вроде бы тогда ошибки должны быть одинаковы.

P.S. Есть некая относительно небольшая выборка с постоянными коэффициентами, подлежащими оценке. Хочу, не прибегая пока к моделированию, разобраться с точностью оценки по МНК и РНК...

[andyp]

Интересно, а вот как связаны дисперсии ошибки для МНК и RLS (РНК) при малых n. Здесь я подвис. Ведь RLS получается из (3.7) лишь путем различных матричных преобразований. Вроде бы тогда ошибки должны быть одинаковы.

Ух, кажется понял о чем Вы. МНК от RLS отличается тем, что в одном случае (МНК) для оценки используется невзвешенная сумма n отсчетов, в случае RLS - всегда взвешенная (лямбда меньше 1 в терминах Вашей книжки) . Ну т.е. в случае MHK используются все входные отсчеты с одинаковым весом 1/n, в случае RLS для усреднения используется БИХ фильтр с параметром лямбда. Поэтому даже в асимптоте (n->Бесконечность)там перед оценками множитель вида (1-lambda)/(1+lambda) будет и соответствующая ошибка. MHK при бесконечном усреднении и эргодических процессах на входе даст стремящуюся к 0 по отношению к винеровскому фильтру ошибку.

При lambda близкой к 1, n много большей N (длина фильтра в Вашей книжке) для эргодических процессов на входе множитель (1+lambda)/(1-lambda) будет сколь угодно близок к 1 и ошибка будет примерно одинаковой.

[Grizzzly]

Ух, кажется понял о чем Вы.

Да. Я как раз про эту ситуацию. А вот теперь самое интересное Есть входная выборка отсчетов, в пределах которой коэффициент передачи канала можно считать постоянным. Производится его оценка. Нужно без лишней задержки на обработку выдавать оценки для демодулятора. Допустим, коэффициентов для оценки 10, а длина входного вектора - 100. Отношение N/n = 0,1. Тут напрашивается RLS (lambda = 1). После поступления очередного отсчета идет переоценка h. Очевидно, что BER будет хуже по сравнению со случаем, когда бы я дождался всего блока на входе, решил один раз задачу МНК и с полученными оценками h произвел демодуляцию сразу для всего блока. Теоретически я могу вместо RLS каждый раз "в лоб" решать МНК по формуле (3.7) при этом размер вектора будет постоянно увеличиваться: 1, 2, 3, ... 100. На каждой следующей итерации нужно будет решать все бОльшую систему целиком. Это, разумеется, неоптимально по вычислительным затратам. Но я не могу до конца понять, не будет ли в данном случае дисперсия ошибки меньше, чем в RLS. Наверное, нет. В моем первом посте на правом рисунке из обозначений в формулах выходит, что дисперсии одинаковы для МНК и RLS, при малых N/n они хуже оптимальных, но с увеличением длины выборки к ним стремятся. Это самый волнующий меня вопрос Какие-то сомнения всё-таки присутствуют...

[andyp]

Т.е. МНК по доступным данным vs RLS по доступным данным? Все эти excess MSE дают нижнюю границу оценки ошибки и асимптотику. На коротких выборках и то и то будет плохо имхо (ну т.е. хуже чем эта граница).

Давайте посмотрим на оценку КФ в случае RLS с параметром lambda = l и квадратами входов X_i

В случае усреднения двух отсчетов будем иметь
l*X_1 + (1-l)*X_2 против 0.5*X_1 + 0.5 *X_2 для MHK

Для трех
l^2 *X_1 + l*(1-l)*X_2 + (1-l)*X_3 против 1/3*X_1 + 1/3*X_2 + 1/3*X_1 для MHK

Справа - наилучшая оценка КФ, которую можно получить по доступным данным.

Имхо, то что слева будет хуже того, что справа, пока не усредняем K*(1/(1-l)) отсчетов, где K - примерно 10 (каждые 1/(1-l) отсчетов excess MSE RLS убывает в e раз)

Сообщение отредактировал andyp - Mar 15 2018, 10:55