QUOTE (reginil_y @ Apr 15 2012, 12:21)

мне наверно нужно будет решить эту задачу аналитически
На этом скорбном пути вас ожидает некоторое нетривиальное количество печальных открытий. Начнём с того, что нет аналитической формулы отыскания корней уравнения степени > 3. Хотя у вас матрица Q ранга 3 и даже если вы её строите шестимерной, её характеристическое (вековое) уравнение сводится к кубическому - трёхкратный корень, равный нулю. Кубическое уравнение можно решить аналитически, используя формулы Кардано. Выглядят они вполне научно, но несколько громоздко и заранее не скажешь, исходя из элементов V, который из трёх ненулевых корней самый большой и как (хотя понятно как = det(Q - lambda*I)) он зависит от элементов V.
Дальше неприятностей ещё больше. Для собственных векторов вообще неизвестна конечная аналитическая процедура их построения. Её просто нет. Следовательно, крутим ортогональными матрицами до посинения, т.е. до диагонализации исходной матрицы Q, или её трёхдиагонального двойника, полученного серией отражений Хаусхолдера. Но бесконечный процесс никогда не кончится и уж точно никакой аналитичности решению не придаст.
Мораль: не пытайтесь доказать что выражению (V*h)^H*(V*h), оно же h^H*Q*h доставляет максимум собственный вектор, соответствующий максимальному собственному значению Q. Всё украдено, т.е. доказано до нас лет за двести и ныне это известно каждому первокурснику.
Максимальное собственное число Q вам знать не нужно, оно в вычислениях не участвует (хотя полезно посмотреть, как себя ведёт спектр - что бы представлять, как хорошо разделены максимальное и следующее за ним собственные числа, и оценить шансы прямой итерации), поэтому проще всего сосредоточиться на вычислении собственного вектора, соответствующий максимальному по модулю собственному значению. Естественно, численно. Используя простой метод прямой итерации:
Выберем h случайным образом. Сосчитаем h' = Q*h и примем новый h = h'/||h'||, т.е. отнормируем итерацию на евклидову норму. Продолжаем до тех пор, пока соседние итерации не совпадут с заранее заданной вычислительной точностью. Это и есть искомый собственный вектор. Понятно, что чем дальше лямбда_1 от лямбда_2, тем лучше сходятся итерации, хотя, конечно, даже о квадратичной сходимости речи нет. Понятно, что это тоже бесконечный процесс, но так как он обрезается по достижении некоторого количества верных цифр, то его можно сосчитать.