С регистром модуляции накосячили. Попробуйте без установки бита UCOS16. Либо пересчитайте значение регистров BRx. Читайте внимательнее раздел 15.3.10 Setting a Baud Rate в User's Guide.
К тому же порядок инициализации регистров вы зачем-то поменяли. Во время инициализации регистров USCI бит UCSWRST должен быть установлен. А он у вас сбрасывается уже на пятой команде, а не на 8-й как планировалось.
Эскизы прикрепленных изображений