Внутренности наименьших квадратов Опции

[Alex65111]

Решил разобраться подробнее с МНК и при первом проходе возникло ряд вопросов.
1. При рассмотрении выражения Rc=p особо подчеркивается что если R положительно определенная, то тогда она обратима и все решается хорошо. Так как R строится на основе базиса разложения, то возникает вопрос, а при каком базисе R не будет положительно определенной и не будет решения? Я пытался придумать ситуацию, когда идет отображение из объма на плоскость, но так и не сумел найти базис из двух векторов, формирующих пространство куда нельзя отразить (найти проекцию) вектора из трехмерного пространства.

2. При рассмотрении LS filtering решается задача вычисления ИХ фильтра для получения подобия опорному сигналу. При рассмотрении данного процесса я не увидел нигде особых требований к тестовой/опорной последовательности. Однако на практике всегда упирают на то, что тренинг должен обладать некими свойствами, а именно хорошей АКФ. Так LS фильтру все таки есть разница какая опорная последовательность используется или нет?

3. Опять же при рассмотрении LS filtering в начале решение подводится к виду d=Ah+e, h=(A^H A)^-1 A^H d без учета каких либо свойств А, но затем вдруг начинают говорить, что А может быть сформирована из различный предположений и начинают рассказывать о autocorrelation, covariance, pre-windowing, post-windowing, но при этом получается что особого обоснавания вроде и не приводят почему ранее расматривая метод LS особых требований к данным не предъявляли, а здесь вдруг говорят что можно так, можно и по другому. А как правильно и почему вдруг возникает эти 4 варианта?

[Alex65111]

petrov
Конечно есть разница, например решаем задачу идентификации FIR фильтра и подаём на него тестовый сигнал не имеющий частотных составляющих в полосе его пропускания, разумеется адаптивный фильтр не сможет настроиться по такому сигналу.

Пока примерно вроде понятно

Ulysses
R не будет положительно определенной при линейно зависимом базисе
Но если предположим, что имеется два ортогональных вектора и один как некая их сумма, т.е все три вектора лежат в одной плоскости, но один из низ есть линейная комбинация других. В этом случае R не будет положительно определенной, но при этом отображение/проекция на данную плоскость существовать будет, т.е. вроде получается что для наличия возможности решения (обращения R) требование положительной определенности не является обязательным?

Невозможно найти проекцию на подпростанство, образованное двухвекторным базисом, если второй вектор является неопределенным (или произвольно любым).
Ну вроде бы понятно, что если что-то не определено, то и делать что-то с этим неосязаемым невозможно. Неужели на практике может быть ситуация, когда вектор является произвольно любым?


AndrewN
А вот ортогональное подпространство H(P) в трехмерном многообразии существует и его проекция на P = 0. Все векторы из H(P) - нули в P
Пример можно?


И вообще, как языком не математика можно охарактеризовать ситуацию (объяснить сущность) с положительной определенностью? Т.е., например, задача интерполяции неким полиномом всегда имеет решение с точки зрения соотношения исходных данных, выбранного полинома и понятием положительной определенности? Или, например, всегда возможно по принятой последовательности вычислить ИХ приводящую к опорной последовательности в срезе положительной определенности?



Ulysses
Формально к A никаких требований предъявлять не надо. А чтобы получить осмысленное фильтрование, необходима модель сигнала, искаженная помехами. Поэтому и возникают указанные обработки, чтобы выделить сигнальный базис.

Когда в учебниках выводят формулу идентификации фильтра (определения ИХ) на основе принятой и опорных последовательностей, то формулу выводят без всяких осмыслений, без моделей. Но когда начинают предлагать те четыре варианта, то не дают пояснений к чему приводит выбор той или иной модели, хотелось бы получить по возможности небольшое пояснение/подсказку по данному моменту – что из практического аспекта влияет на выбор той или иной формы построения А? Например, в случае решения эквалайзера ну например в GSM, принятые биты тренинга по какой из четырех схем надо представлять?

[Ulysses]

1. Но если предположим, что имеется два ортогональных вектора и один как некая их сумма, т.е все три вектора лежат в одной плоскости, но один из низ есть линейная комбинация других. В этом случае R не будет положительно определенной, но при этом отображение/проекция на данную плоскость существовать будет, т.е. вроде получается что для наличия возможности решения (обращения R) требование положительной определенности не является обязательным?
2. Неужели на практике может быть ситуация, когда вектор является произвольно любым?

1. Для данного примера матрица R является вырожденной и ее обращение формально невозможно. Но численно можно найти, например, псевдообратную матрицу (при помощи сингулярного разложения) и найти проекцию на плоскость (на в этом случае за счет численной реализации исключается третий вектор).
2. При умножении R^(-1)*p при вырожденной матрице R результат будет неопределенным или произвольно любым в зависимости от численной реализации.