Внутренности наименьших квадратов Опции

[Alex65111]

Решил разобраться подробнее с МНК и при первом проходе возникло ряд вопросов.
1. При рассмотрении выражения Rc=p особо подчеркивается что если R положительно определенная, то тогда она обратима и все решается хорошо. Так как R строится на основе базиса разложения, то возникает вопрос, а при каком базисе R не будет положительно определенной и не будет решения? Я пытался придумать ситуацию, когда идет отображение из объма на плоскость, но так и не сумел найти базис из двух векторов, формирующих пространство куда нельзя отразить (найти проекцию) вектора из трехмерного пространства.

2. При рассмотрении LS filtering решается задача вычисления ИХ фильтра для получения подобия опорному сигналу. При рассмотрении данного процесса я не увидел нигде особых требований к тестовой/опорной последовательности. Однако на практике всегда упирают на то, что тренинг должен обладать некими свойствами, а именно хорошей АКФ. Так LS фильтру все таки есть разница какая опорная последовательность используется или нет?

3. Опять же при рассмотрении LS filtering в начале решение подводится к виду d=Ah+e, h=(A^H A)^-1 A^H d без учета каких либо свойств А, но затем вдруг начинают говорить, что А может быть сформирована из различный предположений и начинают рассказывать о autocorrelation, covariance, pre-windowing, post-windowing, но при этом получается что особого обоснавания вроде и не приводят почему ранее расматривая метод LS особых требований к данным не предъявляли, а здесь вдруг говорят что можно так, можно и по другому. А как правильно и почему вдруг возникает эти 4 варианта?

[AndrewN]

1. При рассмотрении выражения Rc=p особо подчеркивается что если R положительно определенная, то тогда она обратима и все решается хорошо

R является положительно определённой (точнее, полуопределённой) только в силу построения. Задача МНК ставится как поиск решения, доставляющего минимум функционалу:

x: min ||A*x - b||, ||*|| - евклидова норма (1)

Более того, если решение (1) не единственно (а именно в этом случае R только полуопределена), тогда ищется минимальное по норме решение по всем множеству решений (1):

min ||x||: min ||A*x - b||

> Так как R строится на основе базиса разложения, то возникает вопрос, а при
> каком базисе R не будет положительно определенной и не будет решения?

Базис никак не меняет свойства оператора - инерцию, след, спектр, а только представление. R в любом базисе останется положительно определенной.

> Я пытался придумать ситуацию, когда идет отображение из объма на плоскость, но
> так и не сумел найти базис из двух векторов, формирующих пространство куда нельзя
> отразить (найти проекцию) вектора из трехмерного пространства.

Такого базиса не существует. А вот ортогональное подпространство H(P) в трехмерном многообразии существует и его проекция на P = 0. Все векторы из H(P) - нули в P.

R не будет положительно определенной при линейно зависимом базисе.

По определению не бывает линейно-зависимых базисов.