Дело в том, что напряжение на выходе СД зависит как от сдвига фаз, так и от амплитуды измеряемого сигнала. Причем зависимость амплитуды - линейная. Для устранения её влияния используют АРУ.
В Вашем случае можно сделать проще - находить переходы через "0" с помощью компаратора, и сравнивать его с опорным, который сдвинут на 90 градусов. Так будет просче...
/* Всё хорошо в меру. */