А Вам какие виды модуляции нужно классифицировать? Все возможные или, все же список ограничен.
Вот у меня статейка завалялась про (M-ary PSK signals).
Optimum_classifier_for_M_ary_PSK_signals.zip ( 270.21 килобайт )
Кол-во скачиваний: 25891 Вообще, чисто мое мнение, если работать по реальным сигналам и канал распространения достаточно кривой (вроде КВ), да еще, если не дай бог, какая-нибудь FSK налезает на QPSK, то ни хрена хорошего не получится. Человек вот лучший классификатор

. А модель человека пытались сделать адепты нейронных сетей, правда, похоже, ничего у них пока не получилось.
ну не художники мы...