Подскажите, как по-научному правильно округлять?

Вход: I/Q (12 разрядов на квадратуру)
Выход: I'/Q' (7 разрядов на квадратуру)

чувствую, что просто использовать старшие 7 неверно. как нужно учитывать при округлении младшие 5 или не нужно?

Нужно прибавить к округляемому число с единичкой в 8-м разряде и отбросить от суммы младшие пять.

это верно, если и I и Q в доп коде?

все разобрался.

если X>0, то +

если X<0, то -

А еще можно noise shaping использовать http://en.wikipedia.org/wiki/Noise_shaping

Для этого используется feedback loop, где в петлю обратной связи подается ошибка округления e[n-1].

надо добавить половину цены деления и отбросить младшую часть. С отрицательными числами идея таже, как сделать решайте сами.

output = (input + (1 << (12 - 7 - 1))) >> (12 - 7)

Уточнение к округлению по-научному:
если в отбрасываемом коде попадется комбинация 10000,
то округлять прибавлением 1 нельзя.

Почему?!!

Потому что их нужно округлять к ближайшему четному, иначе ошибка округления будет иметь ненулевое среднее. Но на такие блохи в DSP алгоритмах обычно плюют.

Плюют не всегда.
Это если алгоритм проприетарный или сделан для себя. Или такой, что небольшое смещение не имеет значения.
Если алгоритм стандартный и сделан на продажу, приходится считаться.
Иначе не пройдет тестирование на тестовых векторах, которые есть часто часть стандарта
Поэтому во многих современных DSP есть аппаратная поддержка того и другого режима округления.

Вот здесь http://kanyevsky.kpi.ua/okruglenie.html
описано как на VHDL делать 8 способов округления
и что они дают, и что стоят.