Сегодня сходил на работу, воспользовался осциллографом и решил проблему - мега живая и нормально шьется.
Оказалось что неудачно разработали схему устройства. На UART0 заложили оптоизолированный драйвер RS485 (MAX1480) - при программировании все ноги меги отключаются и драйвер переключается на передачу. Сам драйвер тоже какой-то кривой - в режиме передачи приемник не отключается! Получилось что сигнал MISO дублировался на линию MOSI! Отсюда и все проблемы.
До этого устройство нормально шилось оттого что в схеме была еще одна ошибка - у MAX1480 выход приемника (/RO) инверсный и у меня не принимались данные, а когда я поставил инвертор обмен данными пошел, а мега шиться перестала! Но опять не понятно, ведь сигнал MISO тоже дублировался на линию MOSI, правда с инверсией!?
И кстати после этой разработки никому не советую использовать MAX1480, столько проблем в одном месте я еще не встречал! Лучше использовать связку DC-DC преобразователь (типа P6KU-0505) и драйвер ADM2483.

какие именно? Мы используем и не встречали проблем

Оно может и лучше, только Вы свои ошибки на драйвер не сваливайте. В таких случаях обычно используется развязка на резисторах, снимающая подобные проблемы.

Ну, значит, у MAX1480 выход относительно слабый и шинник адаптера его пересилил. А у инвертора выход посильнее и результат драки стал слабопредсказуемым. Если бы между выходом приёмника MAX1480 и точкой "вход RxD меги + сигнал MOSI колодки программирования" был врезан резистор (скажем, 1к или там 4.7к - что всё равно в схеме есть) - проблем с программированием не было бы вообще.

Ну давайте считать:
1. в режиме передачи приемник не отключается - что передает, то и принимает
2. выход приемника инверсный - нужен инвертор, да и судя по пдф-ке еще и по входам требуются повторители
3. шесть резисторов обвязки, плюс инвертор, плюс развязка на резисторах и прочие меры по обеспечению возможности программирования и плюс корпус DIP28 - в результате драйвер RS485 занимает пол-платы

А должно быть по другому?

In the idle state, both transmitters are disabled, while all receivers in the system are enabled. If any device on the system has information for any other device, it starts sending its data onto the bus. Each data transmission on the bus retriggers the one-shot, keeping the sending transmitter enabled until there are no more transmissions. All receivers receive all data; if this is undesirable, the protocol must allow for an address field so receivers can ignore data not directed to them.

+ вся внутренняя схема разрисована и такое поведение весьма прозрачно прослеживается.



Судя по ПДФ-ке можно взять MAX1490 где выход не инверсный, а повторители показаны условно для отображения следующей информации:
The MAX1480A/MAX1480B/MAX1480C/MAX1490A/MAX1490B typically withstand 1600VRMS (1 minute) or
2000VRMS (1 second). The logic inputs can be driven from TTL/CMOS-logic with a series resistor, and the
received data output can directly drive TTL or CMOS logic families with only resistive pullup.
Посему есди у вас микрокотнроллер ТТЛ или КМОП, то тяните напрямую без повторителей.



Шесть резисторов это как-бы немного. Зато получаете в одном флаконе изолированый 485 + DC/DC. А можно резисторную сборочку поставить и вообще проблем не будет: 2 SMD компонента. Единственное что с размерами корпуса соглашусь, да великоват, но это ведь не проблема, почему же вы сразу не использовали "связку DC-DC преобразователь (типа P6KU-0505) и драйвер ADM2483"? Наверное вопрос в цене или в томже самом месте не плате?

Вывод: RTFM перед тем как что то делать.

Согласен, могу добавить что помимо габаритов последняя связка дешевле и ещё вместо ADM2483 отлично встаёт MAX485 или совместимый, если нужно отказаться от опторазвязки, используются при этом по 4 средних пада с каждой стороны(которые разводились для ADM2483).