в файле delay.h определено так:

void
_delay_ms(double __ms)
{
uint16_t __ticks;
double __tmp = ((F_CPU) / 4e3) * __ms;
if (__tmp < 1.0)
__ticks = 1;
else if (__tmp > 65535)
__ticks = 0; /* i.e. 65536 */
else
__ticks = (uint16_t)__tmp;
_delay_loop_2(__ticks);
}

Почему F_CPU / 4e3, ведь это справедливо для F_CPU = 4000000, а если F_CPU = 8000000, задержка будет в 2 раза длиннее

Ну да, будет длиннее в два раза... в тактах, а не в миллисекундах. Что собственно и должно быть. FCPU/4e3 - это количество проходов цикла задержки _delay_loop_2 для тактовой F_CPU, необходимой для выдержки времени 1мс. А F_CPU одновременно и 4МГц и 8МГц быть не может.

я делаю так:

#define F_CPU 8000000UL
#include <util/delay.h>

int main(void)
{
_delay_ms(1);
}

При симуляции отсчитывается 2 мс, кстати F_CPU показывается как 4МГц

Значит надо задать правильную частоту для симулятора, в режиме симулятора менюdebug->avr simulator options
F_CPU - обычная константа для компилятора, студия о ней ничего не знает...