Приветствую!
Для того чтоб понять почему не работает нужно моделировать топологию печатки включая разъемы и кабель. Скорее всего, линии не согласованные. Например, ответвление от дорожки 2 мм вбок для подключения резистора согласования. Или дифпара проходит над разрывом земли. Или толщина и зазор между дорожками не соответствует зазору до земляного слоя. Или еще куча различных вариантов

Когда приходится иметь тело с СВЧ то все приходится делать по "феншую"
У меня основные проблемы были в связи с тем, что вначале резисторы согласования на входе RX и нагрузка TX были размещены
довольно далеко от выводов микросхемы (~10 мм). Мало того - еще и через переходное отверстие и ответвление. Поэтому в линии стоял "звон" который и вызывал сбои. Вылечили тем что обрезали все лишнее, а резисторы разместили на тонком одностороннем стеклотекстолите над дорожками (3тим слоем :-) ) рядом с выводами.
Решит ли проблему замена на кабель не известно, потому как каждая неоднородность на пути распространения сигнала только добавляет проблемы. Хотя в макете как-то попутали полярность Rx выводов на разъеме - так перекинули обычным МГТФ (около 5 мм) симметрично крест накрест

и работает. Поэтому можете проверить только экспериментально . Я бы взял для этого кусок SATA кабеля.
Удачи! Rob.