Всех бесконечно. Так как от умножения ветора на положительную константу корреляция не меняется.
С максимально возможной - луч одномерного подпространства, элемент в котором дается рассмотренным уравнением.
Но к этому вектору можно прибавлять сколько угодно векторов, ортогональных всем исходным сразу. Размерность такого нулевого подпространства не меньше, чем длина векторов минус их количество.

А непропорциональных векторов не бесконечно разве. Все та же окружность - это же непропорциональные вектора.


Т.е. вышеприведенное решение дает вектор с максимальной корреляцией к исходным?

Погодите, если прибавлять ортогональный ко всем исходным. Это значит, что ортогональный будет иметь одинаковую нулевую корреляцию к исходным. Т.е. получается, что и максимально-коррелированный вектор к исходным может быть не единственный.

Да, с равной максимальной, если такой существует.



Нет, это ковариация не изменяется, а в корреляции в знаменателе стоит длина вектора, и длина возрастает.
Максимальный вектор единственный с точностью до положительной константы.

Путаюсь. Если исходные вектора имеют единичную длину, то вектор с максимальной корреляцией к исходным и длиной единица единстенный?
Третий вектор на картине здесь - это тот самый единственный максимально-коррелированный вектор?
Вот так нахожу:


Сообщение отредактировал getch - Nov 24 2010, 13:10

Не знаю, я его не вычислял.

Провел сравнение решений двух задач:

Знал, что различия будут, но что такие - не ожидал.
Складывая два сигнала в один с минимальной средне-КВАДРАТИЧНОЙ ошибкой (задача2) и минимальной средне-АБСОЛЮТНОЙ ошибкой (задача1), получил сигналы, которые вообще не похожи друг на друга.
Посмотрите весовые коэффициенты, они даже знаками различаются.
Также обратите внимание, что для получения сигнала с минимальной средне-КВАДРАТИЧНОЙ ошибкой мы всегда имеем равные абсолютные значения весовых коэффициентов (= 0.5).

Решил посмотреть, как выглядят коэффициенты для задач, где надо минимизировать средне-КУБИЧЕСКУЮ ошибку, средне-БИКВАДРАТНУЮ ошибку и т.д. Даже нецелые степени. Функции, которые решали задачи выше, работают мгновенно. Здесь же пришлось решать тупым перебором, но на качестве результата это не сказалось.

Так зависят весовые коэффициенты все на тех же исходных векторах, что выше приводились:

Интересная зависимость. Видно, что для степеней <= 1 изменение "нестандартное".

Теперь опустим условие, что СКО все тех же исходных векторов равно единице:

"Пересечение" весовых коэффициентов сдвинулось со степени 2 до ~18.

Я выбрал нечасто-попадающие исходные вектора. В 99% случаев картина такая:

Т.е. плавное изменение весовых коэффициентов при смене степени ошибки.

Наконец, привожу все типы попадающихся зависимостей абсолютных значений весовых коэффициентов от степени ошибки:


Я хотел сложить сигналы в самый "узкий". Узость определялась условием ошибки. Оказалось, что для ошибки со степенью <= 1 суммарный сигнал может сильно отличаться от тех, что со степенью ошибки > 1.

Сообщение отредактировал getch - Nov 24 2010, 23:26

Возможно ли обобщить метод с дифференцированием, когда минимизировалось средне-АБСОЛЮТНОЕ отклонение, с двухмерного случая на многомерный?

Вы мне позволите не вникать во всю эту нумерологию?
Квадратичные нормы ошибок следуют обычно из физики, там, где они успешно применяются. Про то, что нельзя брать их с потолка, я вам писал с самого начала.



Не знаю. Может быть и можно придумать достаточно эффективный алгоритм, работающий быстрее чем экспоненциально по числу векторов в большинстве случаев.

На русском языке не нашел литературы, освещающей особенности различных норм ошибок и обоснованность их применения. Лишь слышал что-то про квантильную регрессию.

Если также находить изломы, где частные производные меняют знак, это будет работать?

Про квантильную регрессию не слышал ничего, знаю только, что обычно используемые квадратичные нормы следуют из квадрата в экспоненте гауссового распределения вероятностей и из общей теории оценивания.

Поскажите, какие более оптимальные подходы могут быть в решении такой задачи:


Текущее решение имеет сложность 2^N: