Electronics Engineer, смотрите, у Вас помимо прочих шумов (наводки, пролезания тактовой частоты и пр.) есть 3 источника шума, которые мы здесь рассматриваем: шумы от дискретизации сигнала по амплитуде (разрядность ЦАП), шумы от дискретизации сигнала по времени (джиттер) и шумы из-за неидеальности выходного ФНЧ. При том надо не забывать, что на половинной частоте преобразования Вы уже наберете около 4 дБ неравномерности АЧХ из-за x/sin(x). Как-то так...

По джиттеру можно глянуть application note Analog Devices AN-501.