Я тоже не вижу здесь ничего сложного, ибо увлекался векторной графикой в универе какое то время. Не обязательно использовать, для обсчета 3D, числа с плавающей точкой, достаточно с фиксированной - к примеру 16 на целую часть, 16 на дробную. И AVR такую арифметику будет счелкать с нормальным FPS;-)
Что бы такое зделать для начала полазьте по форумам, где обсуждают 3D. Еще лучше найти исходники 3D программ под DOS - зачастую как раз фиксированная точка там и использовалась.
Ну а когда вьедете в векторную математику, там и до релиза не далеко - дальше все по маслу пойдетЬ