Итак, у тебя есть 2 картинки переходов. Совмещаеш и смотриш, что бы они друг относительно друга не перекашивались по амплитуде и не были разной длинны. Опять же, при таком методе почти не возможно узнать запаздывание установления одного канала относительно другого (а это и есть степень ортогональности), но зато можно прикинуть (сильно поигравшись с ручками настройки смещения луча по горизонтали).
НО! Самое главное! Здесь проверяется только модулятор. Если его сделать в ПЛИС (как делаем мы), то обеспечить заранее его качество проще некуда и подобные измерения на нём бесполезны. Далее компоненты I и Q идут на смеситель, который аналоговый, и, соответственно, подверженный всяким искажениям, которые не возможно учесть. Вот там то ортогональность и нарушается. Вызывается это разностью фаз синусного и косинусного выхода генератора смесителя. Как это померить без сетевого анализатора я пока не знаю, но, вроде, нашёл умную книжку, в которой всё написано. Прочитаю - расскажу.
PS: Однако, какие же схожие проблемы у людей возникают...