Конечно не зря.
Просто у гауссового распределения случайных величин, к которому стремятся практически все суммы распределений в пределе больших чисел, в экспоненте стоит именно квадрат ошибки. А вероятность совместного распределения независимых гауссово распределенных величин содержит сумму квадратов ошибок в экспоненте. Поэтому минимизируя дисперсию мы максимизируем вероятность такого совместного распределения, если в двух словах. Независимых гауссово распределенных величин У вас, конечно, именно такой случай?

Не имею дело с гауссово распределенными величинами. Более того, эти величины нестационарны.
Но, что интересно, определенная линейная сумма нестационарных величин при минимизации дисперсии показывает очень хорошее распределение...
Понимаю, что линейная связь в академическом опеределении - это мера угла между векторами. Но это определение мне не нравится на интуитивном уровне.
По мне так, линейная связь - это возможность уменьшения дисперсии линейной суммы векторов. Сумма абсолютных значений весовых коэффициентов которых равна единице.

Сообщение отредактировал getch - Sep 30 2010, 20:53

Ещё и ещё раз. Дисперсия линейной комбинации зависит от нормировки вектора весов. Для одного и того же направления вектора весов дисперсия пропорциональна квадрату его длины. Поэтому говорить про минимизацию дисперсии без учета нормировки вектора весов бессмысленно.

Извиняюсь за вмешательство.
Но хотелось бы немного для себя разъяснить. Вы тут пытаетесь сделать как можно узкий сигнал, т.е. суммарный размах амплитуды должен быть минимален у сигнала во времени с максимальным числом гармоник в нём???
А что тогда скажете про ЛЧМ???
А то вот при использовании ЛЧМ сигнала с 255 гармониках длинной в 512 семпла и амплитудой каждой гармоники 1 размах, получается, от -17 да 16.29, а если сделать число гармоник больше то и размах увеличивается. А я этот сигнал отправляю в АЦП, а он 16 бит, так что максимальное значение, которое он примет без искажения будет 32768 и не трудно посчитать максимальную амплитуду каждой гармоники. Т.е. при увеличении числа гармоник их амплитуда падает а, следовательно, сигнал / шум на выходе ЦАП уменьшается.

Сообщение отредактировал ivan219 - Oct 1 2010, 23:07

Нормирую же вектор весовых коэффициентов условием, что сумма их абсолютных значений равна единице.


В идеале хотелось бы получить И максимальную частоту (плохо владею терминологией ЦОС) суммарного сигнала. Т.е. суммарный сигнал должен максимальное количество раз пересечь свое МО. Минимизация дисперсии - это не задача максимизации частоты. Но ее решение на моих данных показывает довольно хорошие результаты: не получается так, что сигнал долго находится выше МО, затем долго - ниже. МО относительно часто пересекается.
Формализовать (чтобы потом можно было заняться оптимизационной задачей максимизации) частоту суммарного сигнала пока не могу. Похоже требуется разложить суммарный (возможно, достаточно только входные) сигнал на гармоники. Разложение Фурье, наверное (эта тема в парктическом применении мне мало знакома), стоит применять только на больших выборках сигнала.
Решение же задачи минимизации дисперсии в виде вектора весовых коэффициентов позволяет говорить о линейных взаимовязях входных данных не только на качественном уровне (коэффициенты корреляции), но и на количественном. Можно оценивать степень линейных взаимосвязей сразу многих входных сигналов.

Сообщение отредактировал getch - Oct 3 2010, 10:07

Бессмысленная нормировка нередко приводит к бессмысленным результатам. За исключением некоторых экстремальных теорем, в которых используется, эквивалентность всех норм. Но в этих теоремах обычно ничего не говорится про направление, так как направления оказываются неэквивалентными, только органичения на саму норму можно записать с точностью до константы.

Объясните, пожалуйста, чем поставленная задача отличается от многомерной линейной регрессии.
Там задача решается по МНК через сингулярное разложение. Вы же нашли решение, вроде, той же задачи, гораздо более простое.
Что я не понимаю?

Отличается тем, что сингулярное разложение работает и в случае вырожденных ковариационных матриц. Которые практически не встречаются, если только не запускать на вход копии одного и того же сигнала.

Получается тогда, что ваш алгоритм гораздо проще известного решения многомерной линейной регрессии, гораздо быстрее выполняется. Вообщем, явно лучше. И странно, что в случае довольно обсосанной многомерной линейной регресси он не упоминается.

Я вам наврал. Многомерная линейная регрессия - это другая задача. Она соответствует вашей задаче, если требовать коэффиициент при одном выделенном векторе равным -1. Но вашу задачу с нормировкой модуля вектора коэффициентов на 1 можно решать и через SVD.

Математики вообще любят общие методы, тем более, что давным-давно написаны качественные универсальные библиотеки линейной алгебры.

Моя задача с нормировкой легко сводится к задаче с выделенным одним коэффициентом в качестве единицы.
А решение моей задачи через SVD видится гораздо более ресурсоемким.

Нет. Опять те же грабли.

SVD полезно для вычисления псевдоинверсии в случае вырожденной ковариационной матрицы. Для матрицы полного ранга достаточно вычислить обычную инверсию.

Почему-то понять не могу:
моя задача имеет решение V1 * X1[i] + V2 * X2[i] + ... + Vn * Xn[i] = D[i] - мин. дисперсия.
Значит это решение регрессии: X1[i] = D[i] / V1 - X2[i] * V2 / V1 - ... - Xn[i] * Vn / V1.

Если возможно, приведите какой-нибудь простой невырожденный пример, чтобы понять, в каком месте головы у меня гвоздь.

Сообщение отредактировал getch - Oct 29 2010, 14:39

Это не регрессия.
Вы опять путаете различные условные минимумы.

Но как же так, ведь регрессия формулируется так:
X1[i] = V2 * X2[i] + ... + Vn * Xn[i] + E[i], где E[i] имеет мин. дисперсию. Здесь E[i] = D[i] / V1


Приведите, пожалуйста, простой невырожденный контрпример.

Сообщение отредактировал getch - Oct 29 2010, 14:57