Полиномы Чебышева, Почему не ортогональны? Опции

[Xenia]

Полиномы Чебышева. Почему не ортогональны?

Среди ортогональных многочленов очень часто упоминаются полиномы Чебышева (первого рода). Везде пишут примерно следующее:

Свойства многочленов Чебышева.
1. Система {Tn(x)}_n=0,1,... ортогональна на отрезке [-1,1] с весом h(x)=1/sqrt(1-x²)

Готовых функций, которые генеруют эти полиномы, всюду завались, и по сути все они делают одно и тоже. Короче говоря, сгенерила я эти полиномы от n=0 до n=5 включительно, представляя отрезок [-1,1] в виде массива дискретных элементов, достаточно длинного, чтобы эффект дескретизации сказывался слабо. Например, массив из gap=101 элемента (нечетное количество элементов выбирала для того, чтобы иметь среднюю точку). Номер элемента (i) пересчитывается в значение x из отрезка [-1,1] по формуле:
x = (double)(2*i)/(gap-1) - 1.0;
где: gap - длина массива.
Т.е. 0-й элемент массива соответствует (x=-1.0), а последний 100-й соответствует (x=+1.0). Серединка (50-й элемент) соответствует x=0.

Получилась матрица F, размером gap x 6. Если построить графики по столбцам той матрицы, то получим картинку, индентичную той, что нарисована а Википедии:
(форум не хочет эту картинку показывать)
http://ru.wikipedia.org/wiki/%D0%A4%D0%B0%...0%B0_%D0%A2.gif

Вроде бы теперь мне только жить, да радоваться . Только дернуло меня проверить эти вектора на ортогональность - вычислив продукт F*F' (размерность 6 x 6):

Код

    1.0000   -0.0000   -0.3200    0.0000   -0.0556   -0.0000
   -0.0000    0.3400   -0.0000   -0.1878    0.0000   -0.0364
   -0.3200   -0.0000    0.4722   -0.0000   -0.1686   -0.0000
    0.0000   -0.1878   -0.0000    0.4914   -0.0000   -0.1619
   -0.0556    0.0000   -0.1686   -0.0000    0.4981   -0.0000
   -0.0000   -0.0364   -0.0000   -0.1619   -0.0000    0.5016

Тут я этот продукт еще на число gap поделила, чтобы длина вектора не сказывалась.

И что вижу? Фигня какая-то... Ортогональны между собой лишь полиномы четных степеней с нечетными, а в остальных случах внедиагональные элементы слишком велики, чтобы их можно было списать на погрешность дискретизации. Впрочем, погрешность дискретизации можно еще понизить, увеличив длину вектора - тогда дискрета станет меньше. Проверила. При длине вектора gap=1001 имею:

Код

    1.0000    0.0000   -0.3320    0.0000   -0.0656   -0.0000
    0.0000    0.3340   -0.0000   -0.1988   -0.0000   -0.0466
   -0.3320   -0.0000    0.4672   -0.0000   -0.1798    0.0000
    0.0000   -0.1988   -0.0000    0.4862    0.0000   -0.1734
   -0.0656   -0.0000   -0.1798    0.0000    0.4926   -0.0000
   -0.0000   -0.0466    0.0000   -0.1734   -0.0000    0.4955

А при gap=10001:

Код

    1.0000   -0.0000   -0.3332    0.0000   -0.0666   -0.0000
   -0.0000    0.3334    0.0000   -0.1999    0.0000   -0.0475
   -0.3332    0.0000    0.4667   -0.0000   -0.1808   -0.0000
    0.0000   -0.1999   -0.0000    0.4858    0.0000   -0.1745
   -0.0666    0.0000   -0.1808    0.0000    0.4921    0.0000
   -0.0000   -0.0475   -0.0000   -0.1745    0.0000    0.4950

Куда еще дальше? Если отрезок [-1,1] представлен вектором, длиной в 10 тыс. элементов, то дискретизация становится исчезающе малой. А у меня корреляции от длины вектора практически не зависят. А корреляция между T0 и Т2 вообще ни в какие ворота не лезет -0.3332. Тем более что, если взять вместо полиномов Чебышева ряды Фурье, то даже на коротеньких массивах в 15-25 элементов ортогональность векторов очень хорошая.

Значит, это не погрешность дискретизации. Тогда что?
Где эта хваленая ортогональность, если я ее не вижу?
Не исключаю, что я здесь что-то важное недопонимаю, а потому и обращаюсь за консультацией. Что происходит? Должны ли полиномы Чебышева (первого рода) так себя вести, или мне надо продолжать искать ошибку у себя?

[Xenia]

Xenia, вы прелесть (не устану это повторять), но нельзя извращать метод. А метод гласит, что раз доказано аналитически, то можно и посчитать (с ошибкой, в общем случае). Но не наоборот.

Так я и не пыталась решать глобальные задачи типа сходимости неизвестных рядов. Суть была в том, что полиномы Чебышева не образуют ортогональную (в моем понимании!) систему, а в полиномы Эрмита ее образуют. За что еще раз спасибо _Ivana, что надоумил.

Проверку же на ортогональность я проводила отнюдь не ради доказательства ортогональности полиномов Эрмита (в моем смысле), а чтобы убедиться, в какой мере эта ортогональность соблюдается в "дискретном пространстве", где данные полиномы могут быть представлены единственным образом - в виде ограниченного числа точек.

В последнем случае уже не так важно, насколько ортогональны идеальные полиномы, заданные аналитически или в виде непрерывной геометрической кривой, а интерес представляет то, насколько хорошо справятся с задачей сохранения ортогональности те самые, покоцанные из-за недостатка точек, векторы.

Арифметика мне понятна, вы считаете коэффициенты разложения по базису. Но что вас заставляет использовать такой неудобный базис? В этом какая-то физика замешана?

Почему вдруг этот базис неудобный? А какой тогда удобный?

Физически задача у меня довольно тривиальная - регрессия. Т.е. я хочу "впендюрить" отрезки экспериментальной кривой в базис невысокой размерности. Так очень часто поступают, аппроксимируя экспериментальные точки прямой, параболой, реже полиномами более высоких порядков. Я тоже так делала, но недовольна сильной корреляцией между собой степенных полиномов, из-за чего обращаемая матрица становится близкой к матрице Гилберта и обращается с ошибками.

Где-то я читала, что разложение на степенные полиномы высших степеней - вообще мазохизм. И там советовали разложение на полиномы Чебышева, из коэффициентов которых можно при необходимости получить и коэффициенты степенного полинома.

А когда приступила к делу, то с ужасом обнаружила, что полиномы Чебышева не ортогональны в матричном смысле - вот и с горя затеяла эту тему. А так, по внешнему виду кривых этих полиномов они весьма схожи со кривыми степенных рядов (линией, квадратной и кубической параболой и т.д.), с той лишь разницей, что не так резво уходят вдаль на границах диапазона, а упираются концами в единицу (или минус единицу).

В вычислительном смысле хороши ряды Фурье, которые тоже образуют ортогональный базис, но практически они дают очень плохой результат из-за того, что кривая регрессии получается волнистая. А чтобы волны на ее поверхности утихомирить, нужен почти что полный набор векторов. Тогда как степенные ряды с легкостью аппроксимируют почти любые плавные изгибы экспериментальной кривой небольшим числом своих первых членов. Фурье так не может.

[AndrewN]

в базис невысокой размерности

Ага. А, кстати, можно ли посмотреть на пару-тройку файлов с измерениями - отправьте на е-мейл?

[Xenia]

А, кстати, можно ли посмотреть на пару-тройку файлов с измерениями - отправьте на е-мейл?

Посмотреть нельзя! Однако тут дело не в конкретных данных, а в самой "странно поставленной" задаче. Если хотите, то в общих чертах объясню ситуацию.

Ползет лента самописца... Только по нынешнему времени это не лента, а высокоразрядный АЦП данные снимает и на экране компьютера рисует. Ну и, как водится, сигнал шумит. Если бы это самописец был, то он бы толстую линию рисовал, т.к. перо у него ходуном бы ходило (из-за своей инерционности обычные бумажные самописцы на высокочастотный шум не реагируют, но АЦП его отлично видит).

Только не торопитесь ставить диагноз - "Так вам шум фильтровать надо? Мы это и без всяких полиномов смастырим!" Нет, не всё тут тривиально, а потому наберитесь терпения дослушать моё объяснение до конца. Так вот "задним числом" по тем сырым данным ползет окно и аппроксимирует точки/значения, в него попавшие, полиномом какой-то степени (математически это зовется регрессией). Ширина окна и степень полинома выбираются не с потолка, а исходя из определенных соображений, и в процессе продвижения окна могут автоматически изменяться в зависимости от того, насколько удачно проходит аппроксимация. Эти соображения я пока опущу. А дальше строго по статистическим критериям (там и t-критерий Стьдента и хи-квадрат пробабилити) оценивается, входит ли центральная точка в окне в доверительный интервал. Если входит, то подлежит замене на значение полинома в этой точке. Т.е. в этом случае имеет место типичное скользящее сглаживание по N-точкам полиномом n-ой степени. Но это лишь пока тишь да гладь, а шум укладывается в пределы статистической нормы. Но стоит какой-то точке или нескольким точкам не вписаться в "валютный коридор" , то их аппроксимировать уже нельзя! И рисуются такие точки, как есть, без всякого сглаживания. Такие сигналы квалифицируются, как выбросы/феномены, и их изучать придут большие ученые . И горе тому, кто сгладит выброс!

[AndrewN]

Посмотреть нельзя

Ага. 3 сигмы или две?
А если вместо странных полиномов использовать косинусное преобразование для сигнала - модели то толковой для него всё рано нету...
И почему посмотреть-то нельзя - я по временному ряду кита от стаи селёдки все равно не отличу, а любопытство заело...