Matlab видел только на семинаре, извините

Но там есть пара кнопок: типа перевода алгоритма в целочисленный код. Только чтобы там все заработало, надо предварительно погонять на моделях матлаба и убедиться, что переполнения в этом случае не возникает.
Да, вот Вам совет: отключите АЦП, сделайте синусоиду внутри ПЛИС и подайте на ЦАП. Избавившись от одной неизвестной величины, проще настраивать дальше. Убедитесь что сигнал на выходе синус. В общем поработайте пока тольно с ЦАП.
Удачи!
P.S.: Думаю что ошибка всё-таки в разных представлениях данных. Посмотрите в каком коде работают ЦАП и АЦП: что соответствует кодам: все нули, все единицы и т.п.
Правильно сформулированый вопрос содержит в себе половину ответа.
P.S.: Некоторые модераторы в качестве ответа так навязчиво предлагают посетить свой сайт, что иначе как саморекламу такие действия интерпретировать сложно.