Все правильно тебе советовали. Сначала разберись с теорией. Скрял лежит на
http://lord-n.narod.ru/walla.html помоему. Есть еще книга Прокиса "Цифровая связь". Делай исключительно на Matlab. Тебе нужны будут Comunication Toolbox и SignalProcessing tooolbox. Впринципе есть такая вещь как DSPBuilder для Матлаба которая модель запихивает в Альтеровскую ПЛИС. Но в ближайшие несколько месяцев и не думай об этом, читай теорию.