Точность результата АЦП зависит от куууучи различных параметров. В т.ч. и от различных помех по питанию, по соседним линиям, ... Точных формул на этот счёт в природе не существует, естественно. Всё это постигается на своих собственных граблях...
Я ничего толком подсказать не могу - крайний раз точно померять аналоговый сигнал пытался в институтском дипломе. Не получилось

)
Ну а сейчас ничего точного не надо, +-5% всех устраивает.
Не понял, зачем каждый светодиод подсоединять сразу к двум портам.
MAX232 предлагаю включать в точном соответствии с картинкой даташита. Проверено, работает

Ещё, на мой взгляд, надо сделать защиту входных цепей. Хотя б простейший RC-фильтр перед АЦП вставить.