В StarterKit к Spartan3 есть исходный текст проекта (его можно скачать с сайта Xilinx) для данной отладочной платы. В нем реализована система на базе MicroBlaze и к ней привинчен контроллер VGA. Данный контроллер текстового режима, т.е. содержит знаковый генератор и текстовый видеобуфер построенные на брамках. Его можно взять за основу и поковырять, в частности выбросить весь этот текстовый режим и расширить число бит на цвет до 8.
Еще мощный графический контроллер видел на www.opencores.org. Он с шиной WISHBONE, очень навороченный и довольно здоровый.
В приложенных файлах Reference Design SVGA контроллера от Xilinx.