Извиняюсь сразу может вопрос показаться глупым. Просто всегда программировал ни ASM а теперь понадобилось перейти на С. Не могу понять что означает запись !( UCSRA & (1<<UDRE)),
а точнее 1<<UDRE ведь << это сдвиг регистра влево, поэтому и непонятно. А тупо использовать без понимания процесса не мой стиль.

эта запись обозначает - проинвертировать значение байта прочитанного из UCSRA из которого выделен только бит UDRE.


не регистра, а 1 на некоторое число UDRE. UDRE - константа, которая соответствует позиции бита UDRE в регистре UCSRA.

! - логическое НЕ, а не побитовое, т.е. значит "инвертировать логическое значение выражения ( UCSRA & (1<<UDRE))" , что в свою очередь определяется умолчанием, принятым в С для результатов выражений при использовании их как логическое значение - "всё, что не ноль есть единица", точнее TRUE. Не во всех языках такое умолчание есть.
Далее UDRE - не просто число, а действительно позиция (по сути номер бита в байте), т.е. (1<<UDRE) обозначает получить маску для сравнения нужного бита в байте. Производится сдвиг левой части (в данном случае 1, но может вполне быть что-то другое на число, указанное в правой части (UDRE), а не наоборот. Помнится, что в ATmega128 UDRE0 5-й (от 0 до 7) бит в байте UCSR0A, соответственно (1<<UDRE) эквивалентно (1<<5), эквивалентно (0x01<<5), эквивалентно 0x20 (00100000). Соответственно проверка значения регистра на флаг осуществляется путём наложения маски на его значение (побитовое И - зануление всех "ненужных" битов), т.е. UCSRA0 & 0x20 даст число отличное от нуля (а именно 0x20) при установленном 5-м бите (UDRE0), иначе будет нуль. 0 - FALSE, 0x20 - TRUE, соответственно !(FALSE) будет эквивалентно TRUE, и наоборот - !(TRUE) эквивалентно FALSE.
Т.е. запись !( UCSRA & (1<<UDRE)) обозначает "не установлен бит UDRE в байте UCSRA".

Спасибо за разьяснение. Просто упустил тот момент что я сдвигаю(1<<UDRE) не ригистр а 1 на номер регистра.
Ну и чтобы дибить до конца. Если к примеру мне нужно проверить RXC и TXC то я должен записать UCSRA & (3<<TXC).

Это у вас получится RXC "или" TXC, но лучше записывать так:
UCSRA & ( (1 << TXC) | ( 1 << RXC) ), чтобы было нагляднее.

Совершенно верно, хотя нагляднее:
UCSRA & ((1<<TXC)|(1<<RXC))

Как по этим параметрам правильно задать CSTACK RSTACK в установках IAR

Вложенности первого уровня недостаточно.
Нужно также учитывать все остальные вложенности, а также прерывания со своими вложенностями.
Если сложно вычислять, то можно под стеки отвести всю оставшуюся память в соотношении размеров стеков 3:1 или 4:1.
Если и в этом случае не хватит, то надо либо программу перепланировать (запретив, например, вложенные прерывания) либо Вы ошиблись с МК.

А второго уровня нет. И памяти вроде хватает, но очень уж критично получается - несколько байт туда-сюда, и можно в стек заехать. Вот и хотелось бы узнать, как ориентироваться по этим данным

Как контролтровать стек ? Не знаю как в AVR, но для 51 я делал так:
при старте программы, еще до установки stack pointer'a, заполняешь всю область стека специальным кодом, например 0x55. Затем в процессе работы программы (после вызова наиболее вложенных фенкций), идешь с конца стека на начало (в направлении, противоположному росту стека), и там, где специальный код кончается, и есть максимальная вершина стека. Таким образом можно проверять и остальные области памяти, которые выделяет программа в процессе выполнения

Если Вы уверены, что никакая из функций, вызываемых из main не вызывает больше никакую другую, даже библиотечную, то установите размеры стеков 12 и 8 байт соответственно.
Кроме того, чтобы функция main не вызывалась определьте её с атрибутом __task.