Решил наконец проблему

Дело было в буфере.
Пока сделал следующим образом:
1. Клок завел в виде дифф. сигнала без всякого буфера на 24 и 25 пины указав там LVDS и подав смещение VCCIO/2 через резисторный делитель (у меня там AC coupling).
Правда при этом пришлось немного обмануть Quartus указав питание для данного банка 2.5В, но это не так страшно, т.к. плата все равно будет переделываться.
2. Буфер для данных распаял на макетке и соединил соплями с нужными падами на плате. Сопли конечно получились порядка 1.5см, но вроде работает. Для макетного варианта сойдет.