1) Не приходилось работать с шифрованием поэтому теорию представляю слабо. Хотелось бы почитать что-нибудь из теории на русском языке (Всё-таки это не описание регистров микросхем ). Кто что-нибудь толковое предложит.
2) Насколько я понимаю использование стандартных методов шифрования достаточно уязвимая вещь. Или всётаки ключ спасает? Короче насколько предложенные загрузчики защищают прогу от взлома?
3) Если необходим не стандартный bootloader, а скажем возможность по команде с rs232 обновить программу, то невозможно использовать стандартный загрузчик?

С этим никаких проблем, по команде с rs232 вам ничто не мешает перезагрузить устройство по WDT, что приведет к штатному старту бутлоадера.

насчет 2. да, ключ спасает.. 2^64 или ^128 степени кто будет перебирать? ;>

насчет 1. попробуйте поискать в сети краткий курс "Основы защиты информации" или купите одноименноую книжку.

1. На Atmel в примерах есть пример AES декодера для AVR (AVR231). Хоть и не на русском, но по картинкам тоже можно разобраться. помещается весь в область bootloader-а.
2. Там-же указано время необходимое для взлома ключа разной длины для данного алгоритма. По моему более чем достаточное.
3. По команде можно просто перейди в область bootloader-а, а там лежит весь код декодера и записи флеша и обработки интерфейса.

Спасибо Всем ответившим.