Подключил FT232R к ATmega32. Двумя проводками, без hw flow control. Как можно программно или аппаратно (дополнительными проводками) определить, что пользователь запустил терминальную программу и соединился с COM-портом, чтобы вывести приглашение? Кажется, я где-то такое видел.

Подключаете терминал и набираете "Уважаемый девайс на AVR это пользователь Вася Пупкин. Прошу вывести приглашение, если это не затруднительно". Девайс эту фразу ловит и выводит приглашение. Можно конечно и чего-нибудь покороче, например одним байтом обойтись .

AT<Enter>

ну есть еще software flow control

А состояние выводов DTR/RTS как-то связано с открытием порта на стороне компьютера?

Связано, если прикладная программа управляет соответствующим образом.
Для прикладной программы гипертерминал, возможны два варианта - или связано, или нет , в зависимости от запрета или разрешения аппаратного управления потоком.

RX- при открытии порта меняет своё состояние --
открыт +10В
закрыт -10В

Только что проверял.

Нет. "проверяйте" проверяйте дальше



"Открытие" порта есть некая абстракция в общем случае никак на сказывающася на внешнем состочнии сигналов. DTR/RTS вы можете управлять на стороне компьютера по своему усмотрению или пытаться попросить об этом терминальную программу. Проблема в том, что при отключеном компьютере/кабеле приемники вполне могут выдавать свое последнее состояние.
Единственный надежный способ - потребовать от пользователя или терминальной программы послать определенный байт или последовательность. В случае если устройство включается/перезапускается позже, то оно, напимер, переодически посылает <BEL> и ожидает реакции пользователя на этот звуковой сигнал, например ввиде посылки <Spacе>.
Если терминальная программа своя или она поддерживает скрипты, то все это 'автоматизируется' - при запуске терминалка посылает <XON> и соответственно выдает <XON> на <ENQ> . Получение <XON> означает для контроллера наличие для терминала.