итак, у меня кодек, с него поток идет в МК, преобразовывается, нужна дальше микруха с выходом USB, к нему подключать внешний модем. Это реально? Никто не задумывался над подобным? И на чем это лучше организовать?

зачем USB, GSM модемы чаще RS232

Есть серьезнейшее подозрение, что в таком девайсе AVRу не место.

Разве что AVR32, которых никто пока толком не знает...

ну а что надо использовать вместо АВРа? Сигнальник? И навскидку, какие есть продаются кодеки с компрессией?

Все зависит от поставленной задачи (какие функции контроллер должен выполнять). В большинстве случаев обходятся ARM, если AVR не 'тянет'. Ну а потом уж и DSP, что бы приблизить обработку данных к реальному 'времени'.

набросок задачи- кодек GSM, например, с него идет аудиопоток, сильно меньше, чем если бы с АЦП, дальше чем-то (АВР) этот поток кодируется, и уже этот код передается через можем внешний...
Реально?

Ну вот и пройдитесь по рекомендации ГСМ на сайте www.3gpp.org . Там есть образцовые сурцы для кодеков , скомпилируйте на авр. Если потянет, то хорошо, если нет то побробуйте адикм в апликейшн нот от атмела.