..или какую литературу посоветуете по всему этому? ( не силен ни в модуляции ни в Матлабе)

Удобно использовать подсистему MATLABа - SIMULINK.
Там много наборов блоков для моделирования, легко начать и можно быстро получить результат.
Я пользуюсь в основном SIMULINKом.
Из литературы для начала достаточно Demos (примеры в MATLABе) и его Help,
а также можно поискать в интернете по ключевым словам MATLAB, SIMULINK.
Книг достаточно много.

Литература - хелп в матлабе по communication toolbox, а также например вот это http://matlab.exponenta.ru/communication/book2/6/ademod.php или http://matlab.exponenta.ru/communication/book2/6/ddemod.php

вдогонку, с картинками :
http://matlab.exponenta.ru/communication/book3/ammod7.php

Литература по цифровой связи, например:
Скляр. "Цифровая связь"
http://www.bolero.ru//product-22296561.html

Выкладывал в топике
http://electronix.ru/forum/index.php?showtopic=21145
модельку 8PSK модема в симулинке, можно посмотреть в качестве примера.
А вообще демодулятор демодулятору рознь, очень много всяких вариантов реализации может быть.

А кто подскажет, как открыть сигнал в Матлабе. У меня есть файл с расширением *.dat

Расширение роли не играет. Выложите здесь файл, или его фрагмент - тогда можно будет сказать определённее. Также укажите тип данных в файле.

Не могу выложить файл: "Ошибка загрузки. У Вас нет прав для загрузки файла с таким расширением."

Ну так поменяйте расштрение Главное внутренности файла, он текстовый (просто выборка значений в тексовом формате) или бинарник ?

Файлы можно выкладывать архивные и графические, насколько я понял. Зазипуйте.

Несущая-22кГц. Модулирована по частоте сигналом 1кГц, девиация около 50 Гц.

Тип данных?

А, уже понял. Читайте так:

fid = fopen('Data.dat','r');
A = fread(fid,'int16');
fclose(fid);
plot(A)

PS. Спектр сигнала кривой какой-то...

Вопросик вскочил. Значит записал я свой голос в wav файл (чтобы проверить функции модуляции/демодуляции). Но решил сначала сохранить в файл (чтоб посмотреть, искажается он или нет)

A = wavread('imxo'); % Здесь я читаю файл.
.........................................................................
% А здесь записываю

fout = fopen('Data_out.dat','w+');
fwrite(fout,A,'double');
fclose(fout);

Потом открываю в Adobe Audition, и слышу очень зашумленный голос.
Так вот, что я делаю не так, и как надо (или в каком формате) сохранять?

------------------------------------
Ft=12000;
Tm=2.0;
N=fix(Tm*Ft);
wav=wavrecord(N,Ft,1);
sound(wav,Ft);pause(1.);
plot((1:N)/Ft,wav);grid on;hold off;
wavwrite(wav,Ft,'voice');
-------------------------------------

Ft - частота дискретизации при записи голоса, Гц
Tm - время записи, сек
N - колич. отсчетов
wav - массив для хранения отсчетов в Workspace
voice - имя wav-файла с записью голоса (в папке work)

при открытии wav-файла в Adobe Audition (import) может потребоваться указать
установленную при записи частоту дискретизации.