Посоветуйте алгоритм для шифрования firmware. Используется процессор LPC2368. В свободный доступ нужно будет выкладывать прошивку, чтобы пользователи могли обновляться.

Что посоветуете использовать, чтобы ARM7 тянул и объем бинарника не сильно увеличивался.
На устройство будет передаваться зашифрованный файл, который будет сохраняться на внешнюю флэш, а контроллер потом его будет раскодировать и перешивать.

Посмотрел различные алгоритмы в википедии, но опыта в этом нет.

AES, 3DES, что угодно еще. Потянет, куда денется - не в реальном же времени работать. Размер тоже не увеличится, если не увлекаться заметанием следов с пересыпанием прошивки мусором.
Примеры можно посмотреть у Атмела для AVR'ок.

Алгоритм - в принципе любой блочный шифр. Для подобных целей они все достаточно хороши.
Гораздо важнее сделать грамотную ключевую систему - что на каком ключе шифровать, как формировать ключ, как проверять его валидность и валидность прошивки, как сделать так, чтобы взлом одного экземпляра устройства не дал доступа к остальным экземплярам.

Кажется, IDEA достаточно просто реализуется программно.
Полностью поддерживаю предыдущего автора по поводу грамотного распределения ключей. Криптографическая система не может быть сильнее её самого слабого звена. Как правило, слабым звеном не оказывается шифр. Плохой генератор ключей, перехват ключа, подкуп сотрудника с ключом - вариантов много. Нужно всё взвесить и сбалансировать неудобство от внедрения защиты и требуемую степень защиты.

Использую RTEA. Быстрый и маленький.

А раскодированную прошивку где планируется хранить? Во встроенной flash?

Поделитесь ценным опытом?

Отсутствие в протоколе обмена дырок и недокументированных команд, которые могут всплыть после взлома и быть использованы для взлома других устройств, отсутствие общих для нескольких устройств ключей.

Возмите гостированный, особенно мудрствовать лукаво не стоит, все материалы по дешифрации сейчас закрыты, в принципе там большое поле деятельности, можно определенно сказать что та защита которая есть сегодня в ос не достаточна, по этому можно положится на опыт советских - много из того что мы делаем легче утянуть с предприятия или из личного архива