Цитата
И только переход на long double дал результат.
Можно было попробовать в двойной, но с использованием точных методов обращения матриц, или методами удвоения точности при суммировании и умножении (Кнут, Кахан, Бабушка и др.).
По теме, есть книга: Бибердорф Э.А., Попова Н.И. Гарантированная точность современных алгоритмов линейной алгебры.
Книга по работам авторов и материалам Годунова. Описаны алгоритмы вычисления векторов с гарантированной точностью. В том смысле, что кроме результата есть оценка точности вычисления этого результата.