1-й вопрос - какая тактовая частота входного сигнала?
AVR не знаю потянет или нет. Мы это делаем на FPGA. Но задачка посложней вашей. Схема примерно следующая:
2D-DCT(8x8)->RLE->Huffman. Коэффициент сжатия получается примерно 10 (но на разных изображениях разный коэффициент).
По-поводу памяти: нужен блок памяти на 64 точки (после первого ДКТ). А остальная память это смотря какой алгоритм будет реализован.
Потом Хаффман - это тоже задачка интересная, счас я над ней голову ломаю

.
А вообще можно поискать на www.koders.com, а почитать на www.compression.ru.