|
|
  |
Корреляционная матрица, Технология расчета, получение из корр матрицы корр функции |
|
|
|
Jun 30 2012, 09:49
|
Группа: Участник
Сообщений: 11
Регистрация: 30-06-12
Пользователь №: 72 571

|
Народ, добрый день. Вопрос по корреляционным матрицам. Есть матрица наблюдений : столбцы ( N штук) - наблюдаемые параметры (или объекты), строки (M штук)- выборки значений по этим параметрам. Моменты получения отсчетов здесь не рассматриваем, интересует собственно технология расчета коэффициентов корреляции. Итак: берем 1 столбец и последовательно считаем выборочный коэффициент корреляции со всеми остальными столбцами, получили первую строку корреляционной матрицы, N штук коэффициентов с индексами от [1,1] до [1,N]. 2 столбец: повторяем то же самое, получаем (N-1) коэффициентов с индексами [2,2]....[2,N] . Коэфф корреляции для сочетания факторов 2,1 записываем на место [2,1], R[2,1]=R[1,2] И так далее - тут все понятно. Теперь надо посчитать матрицу автокорреляции для выборки размером 1..N (серия временных отсчетов параметра). Матрица должна быть N x N : [1,1] = X1*X1 + X2*X2+...Xn*Xn [1,2]= X1*X2 + X2*X3+...Xn-1*Xn .................................................... [1,N]= X1*Xn И вот здесь вопрос - как считать 2 и последующие строки ? Можно ли (и как?) из корр матрицы получить корр функцию?
|
|
|
|
|
Jun 30 2012, 17:44
|

Гуру
     
Группа: Модератор FTP
Сообщений: 4 479
Регистрация: 20-02-08
Из: Москва
Пользователь №: 35 237

|
Цитата(AMih @ Jun 30 2012, 13:49)  Есть матрица наблюдений : столбцы (N штук) - наблюдаемые параметры (или объекты), строки (M штук)- выборки значений по этим параметрам. Моменты получения отсчетов здесь не рассматриваем, интересует собственно технология расчета коэффициентов корреляции. Если ваша матрица наблюдений размером NxM, то умножьте ее на себя саму транспонированную и получите продукт размерностью NxN, который и будет искомой корреляционной матрицей (а если не знаете, как перемножаются матрицы, то можете справиться о том в Википедии). Хотя я полагаю, что такую матрицу положено называть ковариационной, а чтобы получить корреляционную, нужно предварительно модифицировать матрицу наблюдений, вычтя из каждой строки среднее по это строке (т.е. искусственно приведя каждую строку к нулевому среднему). Цитата(AMih @ Jun 30 2012, 13:49)  Можно ли (и как?) из корр матрицы получить корр функцию? А вот этого я себе как-то не представляю  . На мой взгляд, корреляционная функция относится к конкретной паре параметров, у вас их много. Поэтому ответить на эту часть вопроса я предоставлю кому-нибудь другому.
|
|
|
|
|
Jun 30 2012, 20:10
|
Группа: Участник
Сообщений: 11
Регистрация: 30-06-12
Пользователь №: 72 571

|
Цитата(Xenia @ Jun 30 2012, 20:44)  то можете справиться о том в Википедии). Ребяты, не будем уходить от заявленной темы - основной вопрос : автокорреляционная матрица по выборке размером N. Чуть предъистории - речь об оптимальном обнаружении сигнала на фоне коррелированной помехи. В литературе (Левин, Стат. радиотехника, Ван-Трис) пользуют корреляционную матрицу помехи (я понимаю - все-таки автокорреляционную). Бывает, что говорят об усредненной корреляционной матрице. По варианту, предлагаемом Вами, расчет матрицы ведется по набору N выборок размером 1 x N. То есть, на другом наборе, скорее всего, результат будет отличаться от первого. И ценность всего действа - чуток.Я полагал, что расчет матрицы ведется по каждой реализации, а затем проводится их усреднение (уходим от доказательства стационарности процесса). Это - предистория. Вопрос прежний - как считать автокорреояционную матрицу по выборке 1 х N ? Или я не правильно понимаю, что имеется в виду под корреляционной матрицей помехи ?
|
|
|
|
|
Jul 1 2012, 08:52
|

Гуру
     
Группа: Модератор FTP
Сообщений: 4 479
Регистрация: 20-02-08
Из: Москва
Пользователь №: 35 237

|
Цитата(AMih @ Jul 1 2012, 00:10)  Ребяты, не будем уходить от заявленной темы - основной вопрос : автокорреляционная матрица по выборке размером N. Ах, вам не корреляционная матрица нужна, а автокорреляционная! Сами виноваты, когда писали в топовом собщении "Народ, добрый день. Вопрос по корреляционным матрицам" и "получили первую строку корреляционной матрицы". Коореляционная и автокорреляционная матрица - разные вещи. Оттого и мой ответ вам оказался невпопад. Исправляюсь. Если при переходе к следующему элементу первой строки вы увеличивали индекс при втором сомножителе: [1,1] = X1*X1 + X2*X2 + ... + Xn*Xn [1,2] = X1*X2 + X2*X3 + ... + Xn-1*Xn .................................................... [1,N] = X1*Xn то при переходе к следующей строке, надо увеличивать индекс еще при ПЕРВОМ сомножителе: [2,1] = X2*X1 + X3*X2 + ... + Xn*Xn-1 [2,2] = X2*X2 + X3*X3 + ... + Xn*Xn .................................................... [2,N] = X2*Xn А в общем случае: [i,j] = X i*X j + X i+1*X j+1 + X i+2*X j+2 + ... + и т.д. до тех пор (включительно), пока любой из индексов не достигнет n При этом для всех диагональных элементов автокорреляционной матрицы индексы сомножителей будут совпадать. Например: [5,5]= X5*X5 + X6*X6 + ... + Xn*Xn Именно поэтому с увеличением доли белого шума автокорреляционная матрица получает всё большее диагональное преобладание. А для чистого белого шума она должна стать близкой к диагональной.
|
|
|
|
|
Jul 1 2012, 12:20
|
Группа: Участник
Сообщений: 11
Регистрация: 30-06-12
Пользователь №: 72 571

|
Чрезвычайно признателен Вам, сударыня. С этим делом прояснилось. Именно в этих индексах я и заплелся. Спасибо, вывели из трех сосен. Если позволите, продолжу приставания: 1. При таком определении Автокорр матрицы (АКМ) получается, что половинки автокорр. функции расположены в первой и последней строках АКМ 2. Поскольку геометрическое толкование коэфф корреляции есть косинус угла между рассматриваемыми векторами, то получается, что АКМ позволяет определить углы между осями координат, а также между проекциями вектора на плоскости системы координат и собственно вектором выборки, если выборку рассматривать как вектор в системе координат-отсчетов. 3. При декорреляции помехи мы приводим систему координат к ортогональному виду. И тут вот еще вопросы: вектор выборки также приводится к ортогональному положению относительно его проекций? Вроде не должен, поскольку тогда он ложится на одну из осей ? Но после ортогонализации вновь рассчитанная АКМ должна стать диагональной? Или я не прав по п.2? После ортогонализации системы необходимо заново оценить стат параметры массива выборок? Равноценна ли декорреляция с использованием АКМ, рассчитанной по первому варианту расчета (по матрице наблюдений шума), и с АКМ, рассчитанной по второму варианту? В теории нигде явно не оговаривается вариант расчета. У меня при моделировании обнаружителя с массивом шумов, полученном экспериментально, довольно существенная разница при использовании матриц, рассчитанных по этим двум вариантам.
Сообщение отредактировал AMih - Jul 1 2012, 12:24
|
|
|
|
|
Jul 1 2012, 13:23
|

Гуру
     
Группа: Модератор FTP
Сообщений: 4 479
Регистрация: 20-02-08
Из: Москва
Пользователь №: 35 237

|
Цитата(AMih @ Jul 1 2012, 16:20)  1. При таком определении Автокорр матрицы (АКМ) получается, что половинки автокорр. функции расположены в первой и последней строках АКМ. Почему "половинки"? На мой взгляд, первая строка (она же первый стобец из-за того, что матрица симметричная) и есть авторрреляционная функция целиком. Насколько я знаю, каждое ее значение равно почленной сумме (аки интегралу) со сдвигом, определяемым агрументом фунции. Т.е. один экземпляр выборки у нас стоит неподвижно, а второй шаг за шагом сдвигается относительно него:  Это и есть авторреляционная функция целиком, а вовсе не половина ее. По крайней мере придумать какую-то еще вторую ее половину я никак не могу. Тем более, когда исходная выборка определена лишь при положительных значениях индекса. Не пойму, чем вам понравилась последняя строка - ведь она фактически голая - ее первый элемент равен [n,1] = x[n]*X[1], а остальные элементы в строке - нули, поскольку увеличивать индекс выше n нельзя. Из свойства симметрии автокоррреляционной матрицы следует: 1) первая строка тожественна первому столбцу. 2) правый нижний трегольник матрицы содержит одни нули (за исключением минорной диагонали), независимо от исходных данных. Правый нижний треугольник населен лишь в случае разрешения циклического сдвига, и тогда автокорреляционная матрица - циркулянт. Цитата(AMih @ Jul 1 2012, 16:20)  2. Поскольку геометрическое толкование коэфф корреляции есть косинус угла между рассматриваемыми векторами, то получается, что АКМ позволяет определить углы между осями координат, а также между проекциями вектора на плоскости системы координат и собственно вектором выборки, если выборку рассматривать как вектор в системе координат-отсчетов. Рассматривать так, наверное, не вредно.  Цитата(AMih @ Jul 1 2012, 16:20)  3. При декорреляции помехи мы приводим систему координат к ортогональному виду. И тут вот еще вопросы: вектор выборки также приводится к ортогональному положению относительно его проекций? Вроде не должен, поскольку тогда он ложится на одну из осей ? Но после ортогонализации вновь рассчитанная АКМ должна стать диагональной? Или я не прав по п.2? После ортогонализации системы необходимо заново оценить стат параметры массива выборок? Равноценна ли декорреляция с использованием АКМ, рассчитанной по первому варианту расчета (по матрице наблюдений шума), и с АКМ, рассчитанной по второму варианту? В теории нигде явно не оговаривается вариант расчета. У меня при моделировании обнаружителя с массивом шумов, полученном экспериментально, довольно существенная разница при использовании матриц, рассчитанных по этим двум вариантам. Сложновато мне на все эти вопросы ответить, поскольку специально эти вопросы не изучала, а мои знания в этой области ограничены той сферой, с которой имела дело практически. Практически же я имела дело лишь с автокорреляцией, построенной на циклическом сдвиге. Несмотря на это, не исключено, что мой опыт окажется вам в чем-то полезен. А опыт получился такой. В интернете набрела на упоминание (со ссылкой на диссертацию) о том, что собственные вектора циркулянта не зависят от ... числовых значений его элементов. Прочитав такое, я сперва онемела от неожиданности, а потом выкупила полный текст этой диссертаци за 200 руб, Но толку от этого было немного, т.к. ее автор лишь перечислил свойства циркулянтов в приложении к диссертации без каках-либо их доказательств. Тогда я сама взяла MatLab и потестировала модельки с произвольными значениями выборки. Оказалось, что собственные значения автокорреляционного циркулянта от выборки как-то зависят, а собственнные вектора и в самом деле всегда одни и те же. А именно представляют собой базис ... Фурье! Вот тут-то до меня и дошла та сермяжная правда, что Фурье-базис это не просто один из множества ортогональных базисов, а именно тот базис, который является оптимальным для анализа случайного процесса. Именно в этом базисе даже на глаз видно, случаен ваш процесс или содержит в себе скрытую периодичность. Вот такой получился у меня окольный путь к в общем-то банальной истине. У вас, в отличие от меня, автокорреляционная функция не циркулянт. Однако я сильно подозреваю, что какая-то родственная связь сохранится. Т.е. не только не исключено, но и вполне вероятно, что оптимальный ортогональный базис окажется близким у фурьёвому. И это родство позволяет предположить, что попытки копания в корреляционных матрицах и функциях в общем-то эквивалентны той или иной фильтрации в Фурье-образе.
|
|
|
|
|
Jul 1 2012, 14:45
|
Группа: Участник
Сообщений: 11
Регистрация: 30-06-12
Пользователь №: 72 571

|
"Почему "половинки"? " АКФ симметрична, потому и обозвал половинками.
"Не пойму, чем вам понравилась последняя строка" Согласен. Прошу пардону, соврамши - не в строках. А расположена, конечно в первой строке и первом столбце
Спасибо, сударыня. А про Фурье-базис как оптимальный вариант - это интересно.
Сообщение отредактировал AMih - Jul 1 2012, 14:46
|
|
|
|
|
Jul 6 2012, 22:59
|
Местный
  
Группа: Участник
Сообщений: 336
Регистрация: 7-03-07
Из: Петербург
Пользователь №: 25 961

|
QUOTE (Xenia @ Jul 1 2012, 17:23)  В интернете набрела на упоминание (со ссылкой на диссертацию) о том, что собственные вектора циркулянта не зависят от ... числовых значений его элементов Этот результат для циркулянтных матриц приводится в книге С.Л.Марпл-мл, Цифровой спектральный анализ и его приложения, 1990 (стр. 106-107). Марпл ссылается на две статьи 1974 и 1972 года. Причем не требуется, чтобы матрица формировалась как автокорреляционная. Достаточно набора из N чисел и циркулянтной структуры.
Сообщение отредактировал AndrewN - Jul 6 2012, 23:01
|
|
|
|
|
  |
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0
|
|
|