Отвечу с конца. У TI нет документации по СИ, т.к. фирма TI в основном производит полупроводниковые изделия, а не компиляторы

Для изучения Си начните с азов. Например, прочтите отцов-основателей
Керниган, Ричи. "Язык C". В Интернете легко найдете.
После этого все будет вполне понятно. В т.ч. и порядок действий в описанных выражениях.
Выражение
Код
P3OUT|=0x30;
означает, что
- в качестве аргумента берется содержимое регистра P3OUT;
- затем выполняется операция побитового сложения P3OUT и константы 0x30;
- результат операции записывается снова в регистр P3OUT.
В целом выражение эквивалентно такой записи.
Код
P3OUT=P3OUT|0x30;
BIT4 во втором вашем выражении на самом деле определен макросом вида
Код
#define BIT4 0x10
и компилятор вместо совокупности символов
BIT4 везде подставляет его значение
0x10Выражение
Код
P3OUT&=~BIT4;
эквивалентно
Код
P3OUT=P3OUT&(~0x10);
где
~0x10, в свою очередь, компилятор преобразует в его инверсию
0xEF. Т.е. выражение можно было бы записать как
Код
P3OUT=P3OUT&0xEF;
Интересно, а как вы сами ранее в ваших же примерах использовали операцию P3OUT&=~0x20;? По наитию что ли?

Или по аналогии с чем-то?