При попытке сгенерировать выходной файл в формате отличном от hex, или ubrof, в частности elf и coff IAR говорит, что генерация невозможа для данного контроллера (проверял на ATmega8...ATmega64). На версиях 4.12 и 4.20.
Вопрос: генерирование этих форматов просто не предусмотрено, или надо знать где какие галочки выставлять?

Генерация выходных файлов этих форматов скорее всего не предусмотрена для всего семейства AVR (это относится к тулчейну от IAR, т. к. тулчейн от GNU прекрасно их генерит).