Что-то меня после псевдопраздников клинит. Полоса должна быть ограничена до детектора. То, что Вы усредняете после детектора - это шумы и полезный сигнал во всей полосе после самого узкополосного фильтра на ПЧ. Вы искусственно ухудшаете свои показания.
То VCO - почему, та же история, что и со звуковухой. Набираете отсчетов немерянно - вот ФФТ как раз и сработает множеством узкополосных приемников. Сигнал стационарный - нам из него не информацию вынимать, а только обнаружить. Берем миллион+ точек для 16-ти битника, если он хотя бы 90дБ даст на 6.5МГц в первом Найквисте - вот и минус 150дБFS шумы. Осталось свечку поставить, чтобы на частоте анализа спуров АЦП не оказалось.
тау, как обычно, опередил из засады.