В VML биты регистра TCCRnB таймера расписаны так:
ICNC1 ICES1 -- -- CTC1 CS12 CS11 CS10
а должно :
ICNC1 ICES1 -- WGM13 WGM12 CS12 CS11 CS10
Как это можно по-бороть?