Возможно кто нибудь знает и может рассказать в общих чертах как строятся подобные алгоритмы?

смотря что мерять будете, сопротивления изоляций тоже разные, и с разными критериями/условиями.
от условия, алгоритм и нужно выбирать
- если мерять на 100метровом участке кабеля это одно
- а если на 2км, это другое
- а если еще и под напряжением - третье
- а если еще и под переменным напряжением - четвортое
...
потом какая вам нужна погрешность измерения? а какая погрешность под напряжением? а под переменным? итд итп

условия влияют на алгоритм

я когдато делал многоканальный измеритель сопротивления изоляции для РЖД, намучались мы с этими алгоритмами добиваясь нужных процентов, мама не горюй называется...

Очень интересно...

интересуют измерения под переменным напряжением. Высокие напряжения. ... про длинну линии ничего сказать не могу, хотелось бы услышать как это влияет...

Если линия не симметрична относительно земли, рекомендую метод измерения сопротивления изоляции с помощью тестового тона. Идея проста. В простейшем случае, на линию через последовательные конденсатор+резистор подаёте тестовый сигнал с шагом например 100гц, и снимаете табличку падения напряжения и сдвиг фазы на резисторе. Затем можно построить график импеданса цепи.
Вот > тут как пример положил схему простейшего сенсора для измерения изоляции в несимметричной цепи.

Если линия симметрична, то замерив вольтметром 3 параметра:
1 напряжение относительно земли на проводе А,
2 напряжение относительно земли на проводе Б,
3 напряжение между А и Б,
затем можно подсчитать величину сопротивления изоляции между линией и землёй или в каждом проводе относительно земли. В прототипе
что делал я, точность была не хуже 1%.