Честно говоря, теперь я не совсем понял

Координаты точек на стороне модулятора никак не рассчитываются, это просто комплексное число, которое сопоставляется текущей передаваемой группе бит. Например, в QPSK/ФМ-4 четырем возможным парам бит соответствуют четыре возможных комплексных числа. Конкретную кодировку созвездия, то есть соответствие между конкретными комбинациями бит и конкретными координатами на комплексной плоскости, выбирают из соображений помехоустойчивости. Это регламентируется стандартом (протоколом), то есть известно априори. Или Вы создаете свой стандарт (протокол)??? Если алгоритм понятен в MatLab, то какие проблемы с реализацией на С?