Расскажите, как лучше реализовать USB бутлоадер (желательно для LPC17xx). Стоит ли его объединять с основной прошивкой или заливать их раздельно? Как передавать управление на новую прошивку (стирать предыдущую до запуска новой не хотелось бы)? Какие в природе есть готовые решения и какие есть подводные камни (шифрование, защита от копирования)?

у производителя поиском не пробовали?
http://www.nxp.com/documents/other/AN10866.zip

Это я уже нагуглил, но во-первых, мне не нравится, что все встречные бутлоадеры работают как Mass Storage Device, а во-вторых, исходники и аппноты не дают ответов на половину вопросов в топике.

ну так выбросьте оттуда весь SCSI уровень, разработайте свой протокол обмена, укажите пользовательский класс в дескрипторе и вперед с песней, в чем проблема-то?
Шифрование прошивки, IAP и передача управления загруженной программе обсуждалось уже тыщу раз

Да, бут и приложение - два разных проекта

Защита от копирования - нет ее, как и невзламываемой противоугонной системы. От большинства убережет, а от желания, денег и китайцев - нет