Внутренности наименьших квадратов Опции

[Alex65111]

Решил разобраться подробнее с МНК и при первом проходе возникло ряд вопросов.
1. При рассмотрении выражения Rc=p особо подчеркивается что если R положительно определенная, то тогда она обратима и все решается хорошо. Так как R строится на основе базиса разложения, то возникает вопрос, а при каком базисе R не будет положительно определенной и не будет решения? Я пытался придумать ситуацию, когда идет отображение из объма на плоскость, но так и не сумел найти базис из двух векторов, формирующих пространство куда нельзя отразить (найти проекцию) вектора из трехмерного пространства.

2. При рассмотрении LS filtering решается задача вычисления ИХ фильтра для получения подобия опорному сигналу. При рассмотрении данного процесса я не увидел нигде особых требований к тестовой/опорной последовательности. Однако на практике всегда упирают на то, что тренинг должен обладать некими свойствами, а именно хорошей АКФ. Так LS фильтру все таки есть разница какая опорная последовательность используется или нет?

3. Опять же при рассмотрении LS filtering в начале решение подводится к виду d=Ah+e, h=(A^H A)^-1 A^H d без учета каких либо свойств А, но затем вдруг начинают говорить, что А может быть сформирована из различный предположений и начинают рассказывать о autocorrelation, covariance, pre-windowing, post-windowing, но при этом получается что особого обоснавания вроде и не приводят почему ранее расматривая метод LS особых требований к данным не предъявляли, а здесь вдруг говорят что можно так, можно и по другому. А как правильно и почему вдруг возникает эти 4 варианта?

[leksa]

Хочу поделиться названиями нескольких книжек, которые существенно улучшили(улучшают) мое понимание линейной алгебры и её использования в обработке сигналов, по крайней мере, по сравнению с теми знаниями, что оставались в голове после курса ЛА, прослушанного в не самом лучшем тех. вузе.
Strang, Gilbert, Linear Algebra And Its Applications
Carl Meyer, Matrix analysis and applied linear algebra
Todd Moon Mathematical Methods and Algorithms for Signal Processing
Simon Haykin Adaptive Filter Theory

Еще хочу привести маленький примерчик, чем отличается положительно определенная матрица от полуопределенной и неопределенной.
Пусть f(x,y)=[x y]*A*([x y]^T)=[x y]*[a b;b c]*([x y]^T)=a*x^2+2*b*x*y+c*y^2 - квадратичная форма, а
A = [a b;b c] - симметричная матрица размером 2 на 2.
Если значения f(x,y) откладывать по оси z в трехмерном пространстве(по осям x,y - соответственно значения x,y), то получим трехмерную фигуру.
Так вот, если A - положительно определенная матрица, то фигура эта будет в виде "чаши" с округлым дном, а самая нижняя точка чаши - минимум f(x,y).
Если А - положительно полуопределенная матрица, то фигура будет в виде бесконечного желоба или канавки. То есть минимум будет только по одной оси, а по второй оси - все значения будут лежать на одном уровне
А если А - неопределенная матрица, тогда фигура будет представлять собой седло, то есть по одной оси можно найти максимум в центре седла, а по другой оси - минимум.
Подробнее и понятнее, и большим числом примеров, смотрите в указанных книгах, особенно в первых трех.