Попробуйте максимальную по скорости. Когда то она давала и меньший код, чем оптимизация по размеру. Ну и там есть еще несколько дополнительных галочек, с которыми стоит поиграться. А вообще вам надо радикально пересмотреть использование volatile-переменных, оставив квалификатор лишь у тех переменных, к которым есть обращения И в прерываниях И в основном цикле. А с оставшимися volatile работать по принципу "считал во временную локальную переменную, поработал с локальной, выгрузил результат в volatile". Уверен, что таким нехитрым способом можно выиграть больше, чем от смены компилятора.

Попробовал откомпилировать с максимальной оптимизацией: 790 байт code/ 63 RAM.
IAR сначала жаловался на нехватку ОЗУ, уменьшил стеки - собралось.

P.S. У вас зачем все глобальные переменные volatile? Некоторые из них (dev_pwm, delta, my_time и может ещё какие-нибудь) используются исключительно в единственном прерываниии: volatile не нужен. Может аналогичная ситуция с основной программой, не смотрел.
P.S.2 Просьба: если скомпилится и заработает выложите полученные размеры для IAR и GCC. Интересно кто кого.

Уменьшил CSTACK до 0x0f и тоже собралось. Получилось 844/64. Есть еще пара вопросов перед тем как делать все остальное. ИАР выдает несколько предупреждений и хочется от них избавиться. Все предупреждения вида:

В строчках



Пока наилучший результат 770/64.

Правильно выдает. Чтение volatile может приводить к изменению ее содержимого (вспомните регистр UDR или подобные) и содержимого других volatile-переменых (при чтении ADCH обновляется ADCL). В вычислении результата ваших выражений используются минимум две volatile-переменные. Компилятор предупреждает, что поскольку порядок вычисления выражений не определен, то и результат вычислений может быть не таким, как вы ожидаете. У вас есть два варианта решения:
1) Избавиться от лишних volatile и тогда большинство выражений будет содержать максимум одну volatile-переменную.
2) В оставшихся выражениях вместо "лишних" volatile-переменных использовать временные локальные переменные, в которые заранее считано значение из volatile:
Ну или не делать п.1 а везде применять п.2, но это тупиковое решение и сокращения кода вы так не получите.

Исправил - попутаны были ADCH и ADCL

Сделал везде по 1 варианту. Это пока дало наилучший результат. Посмотрим что будет в железе.

Не забудьте сообщить, какой в итоге получится размер кода и какой размер того же исходника даст gcc.

По последним данным GCC 936 байт, а IAR 770 байт, но hex от IAR в железо еще не лил и не тестировал что вышло с потребительской стороны.

Самый лучший результат составил 750 байт. В железе все заработало правильно.