N = 5000;
Canst = [-1-1i 1+1i 1-1i -1+1i];
X = randsrc(1,N,Canst,10);%данные
N_B = 8; %число отсчетов на такт
X1 = [X;zeros(N_B-1,N)]; X1 = X1( : )';
b = rcosine(1,N_B,'',0.2,7);
y = y.*exp(0.15j*pi*(1:length(y)));
y1 = y.^4;
N_FFT = 1024*4;
[P_y,w] = pwelch(y1(100:end-100),[],N_FFT/4,N_FFT);
h = plot(w,P_y);
set(h,'LineWidth',2);
axis([0 5 30 80]);
grid on;

С центральным пиком всё понятно – при возведении в 4-ю степень фаза несущей учетверяется и в отсчётных точках, где межсимволика минимальна, сигнал имеет в спектре выраженный пик:
exp(j4*(2pi*f*t + pi/4)) = exp(j8pi*f*t)
Боковые пики на расстоянии символьной скорости от центрального пика образуются из межсимвольной составляющей. Подскажите, не встречал ли кто-нибудь аналитического выражения механизма появления эти боковых пиков, например зависимости их уровня от вида импульсной характеристики фильтра, мощности исходного сигнала и т.д.?