Обычно созвездия сравнивают по минимальному расстоянию dmin, которое определяет вероятность символьной ошибки при С/Ш -> inf. С практической точки зрения, особенно сейчас, когда применяются турбокоды, LDPC, полярные коды, при которых системы работают вблизи границы Шеннона, интереснее было бы оптимизировать созвездия для малых значений C/Ш. Какой толк, если одно созвездие превосходит другое на 2-3 дБ при C/Ш = 20-30 дБ? Напрашивается оптимизация по перераспределению дистанционного спектра: жертвуя уменьшением dmin, увеличить число "большИх" расстояний, которыми определяется помехоустойчивость созвездия при малой энергетике.

Не нашел публикаций с подобными исследованиями. Я что-то опустил и такой подход неприменим?

Созвездия оптимизируют совместно со схемой кодирования. Работ полно. Началось все с TCM и pragmatic TCM.

В TCM ведь тоже максимизируют dmin, разбивая сигнальное созвездие на подмножества. Хочется рассмотреть плотность распределения p(d), где d - множество всех попарных расстояний. В ней "растянуть" правый хвост, пусть даже будут нулевые расстояния, которые при каком-нибудь разумном С/Ш ~ 10 дБ образуют полку, но при этом на 1-2 дБ лучше при малой энергетике.

Спасибо, различные вариации с progmatic нашел (например, Pragmatic Capacity при заданном SNR).