Тема муссировалась много раз, можете воспользоваться поиском по форуму, тема называлась "Баги симуляторов"(или как то так). В общем не стоит полагаться на симулятор, плохо он отрабатывает АЦП (да и много другой периферии) и об этом написано в хелпе на АВР Студию. Не надо зацикливаться на этом, надо самому, ручками, ставить нужные прерывания и заносить желаемые данные в необходимые регистры. Симулятор надо использовать для отработки алгоритмов, а не для проверки работы периферии, даже если он ее правильно будет отрабатывать, то не факт, что это будет работать в железе - там свои баги, помехи и т.д. и т.п.
--------------------
|