Хорошие книги по математике и Matlab:
"Иллюстрированный самоучитель по MatLab 6",
"Начало работы с MatLab. Вычисления, визуализация, программирование",
Гультяев А.К.
"MatLab 5.2. Имитационное моделирование в среде Windows. Практическое пособие",
Герман-Галки и С. Г.
"Компьютерное моделирование полупроводниковых систем в MatLab 6.0. Учебное пособие"
и др. по ссылке:
http://forums.realcoding.net/index.php?showforum=59