Решил разобраться подробнее с МНК и при первом проходе возникло ряд вопросов.
1. При рассмотрении выражения Rc=p особо подчеркивается что если R положительно определенная, то тогда она обратима и все решается хорошо. Так как R строится на основе базиса разложения, то возникает вопрос, а при каком базисе R не будет положительно определенной и не будет решения? Я пытался придумать ситуацию, когда идет отображение из объма на плоскость, но так и не сумел найти базис из двух векторов, формирующих пространство куда нельзя отразить (найти проекцию) вектора из трехмерного пространства.

2. При рассмотрении LS filtering решается задача вычисления ИХ фильтра для получения подобия опорному сигналу. При рассмотрении данного процесса я не увидел нигде особых требований к тестовой/опорной последовательности. Однако на практике всегда упирают на то, что тренинг должен обладать некими свойствами, а именно хорошей АКФ. Так LS фильтру все таки есть разница какая опорная последовательность используется или нет?

3. Опять же при рассмотрении LS filtering в начале решение подводится к виду d=Ah+e, h=(A^H A)^-1 A^H d без учета каких либо свойств А, но затем вдруг начинают говорить, что А может быть сформирована из различный предположений и начинают рассказывать о autocorrelation, covariance, pre-windowing, post-windowing, но при этом получается что особого обоснавания вроде и не приводят почему ранее расматривая метод LS особых требований к данным не предъявляли, а здесь вдруг говорят что можно так, можно и по другому. А как правильно и почему вдруг возникает эти 4 варианта?

Конечно есть разница, например решаем задачу идентификации FIR фильтра и подаём на него тестовый сигнал не имеющий частотных составляющих в полосе его пропускания, разумеется адаптивный фильтр не сможет настроиться по такому сигналу.

R не будет положительно определенной при линейно зависимом базисе.
Невозможно найти проекцию на подпростанство, образованное двухвекторным базисом, если второй вектор является неопределенным (или произвольно любым).

R является положительно определённой (точнее, полуопределённой) только в силу построения. Задача МНК ставится как поиск решения, доставляющего минимум функционалу:

x: min ||A*x - b||, ||*|| - евклидова норма (1)

Более того, если решение (1) не единственно (а именно в этом случае R только полуопределена), тогда ищется минимальное по норме решение по всем множеству решений (1):

min ||x||: min ||A*x - b||

> Так как R строится на основе базиса разложения, то возникает вопрос, а при
> каком базисе R не будет положительно определенной и не будет решения?

Базис никак не меняет свойства оператора - инерцию, след, спектр, а только представление. R в любом базисе останется положительно определенной.

> Я пытался придумать ситуацию, когда идет отображение из объма на плоскость, но
> так и не сумел найти базис из двух векторов, формирующих пространство куда нельзя
> отразить (найти проекцию) вектора из трехмерного пространства.

Такого базиса не существует. А вот ортогональное подпространство H(P) в трехмерном многообразии существует и его проекция на P = 0. Все векторы из H(P) - нули в P.



По определению не бывает линейно-зависимых базисов.

Формально к A никаких требований предъявлять не надо. А чтобы получить осмысленное фильтрование, необходима модель сигнала, искаженная помехами. Поэтому и возникают указанные обработки, чтобы выделить сигнальный базис.

petrov
Конечно есть разница, например решаем задачу идентификации FIR фильтра и подаём на него тестовый сигнал не имеющий частотных составляющих в полосе его пропускания, разумеется адаптивный фильтр не сможет настроиться по такому сигналу.

Пока примерно вроде понятно

Ulysses
R не будет положительно определенной при линейно зависимом базисе
Но если предположим, что имеется два ортогональных вектора и один как некая их сумма, т.е все три вектора лежат в одной плоскости, но один из низ есть линейная комбинация других. В этом случае R не будет положительно определенной, но при этом отображение/проекция на данную плоскость существовать будет, т.е. вроде получается что для наличия возможности решения (обращения R) требование положительной определенности не является обязательным?

Невозможно найти проекцию на подпростанство, образованное двухвекторным базисом, если второй вектор является неопределенным (или произвольно любым).
Ну вроде бы понятно, что если что-то не определено, то и делать что-то с этим неосязаемым невозможно. Неужели на практике может быть ситуация, когда вектор является произвольно любым?


AndrewN
А вот ортогональное подпространство H(P) в трехмерном многообразии существует и его проекция на P = 0. Все векторы из H(P) - нули в P
Пример можно?


И вообще, как языком не математика можно охарактеризовать ситуацию (объяснить сущность) с положительной определенностью? Т.е., например, задача интерполяции неким полиномом всегда имеет решение с точки зрения соотношения исходных данных, выбранного полинома и понятием положительной определенности? Или, например, всегда возможно по принятой последовательности вычислить ИХ приводящую к опорной последовательности в срезе положительной определенности?



Ulysses
Формально к A никаких требований предъявлять не надо. А чтобы получить осмысленное фильтрование, необходима модель сигнала, искаженная помехами. Поэтому и возникают указанные обработки, чтобы выделить сигнальный базис.

Когда в учебниках выводят формулу идентификации фильтра (определения ИХ) на основе принятой и опорных последовательностей, то формулу выводят без всяких осмыслений, без моделей. Но когда начинают предлагать те четыре варианта, то не дают пояснений к чему приводит выбор той или иной модели, хотелось бы получить по возможности небольшое пояснение/подсказку по данному моменту – что из практического аспекта влияет на выбор той или иной формы построения А? Например, в случае решения эквалайзера ну например в GSM, принятые биты тренинга по какой из четырех схем надо представлять?

1. Для данного примера матрица R является вырожденной и ее обращение формально невозможно. Но численно можно найти, например, псевдообратную матрицу (при помощи сингулярного разложения) и найти проекцию на плоскость (на в этом случае за счет численной реализации исключается третий вектор).
2. При умножении R^(-1)*p при вырожденной матрице R результат будет неопределенным или произвольно любым в зависимости от численной реализации.

Возьмём самый обычный трёхмерный базис x, y, z. Натянем плоскость Р на векторы x, y. Очевидно, что одномерное подпространство натянутое на z, ортогонально Р.


Сложно. Если без, то очень беспредметно получается. Коротко, матрица называется положительно определенной если её спектр (собственные числа) вещественный и строго больше нуля.

Для обратимости матрицы важно свойство невырожденности (ни одно из собственных чисел не равно нулю), а не положительная определенность - некоторые собственные числа могут быть и отрицательными и даже комплексными.

Найдите в сети любой учебник линейной алгебры, дайте ссылку на страницы, где непонятно. Обычно в таких учебниках есть решение задачи МНК.

Хочу поделиться названиями нескольких книжек, которые существенно улучшили(улучшают) мое понимание линейной алгебры и её использования в обработке сигналов, по крайней мере, по сравнению с теми знаниями, что оставались в голове после курса ЛА, прослушанного в не самом лучшем тех. вузе.
Strang, Gilbert, Linear Algebra And Its Applications
Carl Meyer, Matrix analysis and applied linear algebra
Todd Moon Mathematical Methods and Algorithms for Signal Processing
Simon Haykin Adaptive Filter Theory

Еще хочу привести маленький примерчик, чем отличается положительно определенная матрица от полуопределенной и неопределенной.
Пусть f(x,y)=[x y]*A*([x y]^T)=[x y]*[a b;b c]*([x y]^T)=a*x^2+2*b*x*y+c*y^2 - квадратичная форма, а
A = [a b;b c] - симметричная матрица размером 2 на 2.
Если значения f(x,y) откладывать по оси z в трехмерном пространстве(по осям x,y - соответственно значения x,y), то получим трехмерную фигуру.
Так вот, если A - положительно определенная матрица, то фигура эта будет в виде "чаши" с округлым дном, а самая нижняя точка чаши - минимум f(x,y).
Если А - положительно полуопределенная матрица, то фигура будет в виде бесконечного желоба или канавки. То есть минимум будет только по одной оси, а по второй оси - все значения будут лежать на одном уровне
А если А - неопределенная матрица, тогда фигура будет представлять собой седло, то есть по одной оси можно найти максимум в центре седла, а по другой оси - минимум.
Подробнее и понятнее, и большим числом примеров, смотрите в указанных книгах, особенно в первых трех.