С точки зрения даташита на мегу8:
Цитата
ADC: 0 - VCC ADC Input Voltage Range
ADC Voltage Reference:
The reference voltage for the ADC (VREF) indicates the conversion range for the ADC.
Single ended channels that exceed VREF will result in codes close to 0x3FF. VREF can be
selected as either AVCC, internal 2.56V reference, or external AREF pin.
Из выделенного следует, что ситуация превышения входа выше Vref вполне допустима и, более того, документирована.