Цитата
Да я взял не тот стабилизатор

Здрастье...а какой же тогда у вас стоит, скажите точно на каком реальная схема собрана.
Цитата
Так вот, если нагрузка меньше 1кОм, то выходное напряжение перестаёт гулять, но оно не то (не 3.3 вольта)
Меньше это сколько ? Не то это сколько ? 1 кОм или рядом = почти нет нагрузки.
Цитата
Потом запаял повышающий и он так же хреново заработал. Повышал до 8-9 вольт, если ставил 2 батареи, то напряжение повышалось до 10 вольт(хотя надо бы протестировать один повышающий напрямую к батарейкам).
Не продрался я через такую фразу

"Он также хреново заработал" Он это который U5 по вашей схеме ? Так понятно, если у него входное сильно плавает, то и выходное будет (пределы стабилизации-то есть).
Не нравится мне ваша разводка

...Если я правилно понял, то общий провод С18 идет вокруг всей схемы источника - нехорошо. Может получится петля земли с общим участком с силовой цепью. И это может раскачивать источник. Я бы старался разводть более аккуратно, максимально широкими проводниками и располагать все в линию.
Я бы сделал так. Отключил от U3 всю схему. И включил его с расчетными номиналами БЕЗ нагрузки. И от внешнего БП (не батарей). Если колеблется (смотрим только осциллографом !), то ищем причину. Смотрим, где колебания зарождаются - на входе, на выходе, в общей точке делителя.
Пробуем поставить параллельно R10 конд. в несколько пФ (10-20). Попробуйте взять толстый (0,5-1 мм) многожильный провод и напаять его в точках общего провода С8 и С18 (убрать возможную петлю).
И только когда будет устойчиво работать на расчетную нагрузку U3, запитать его сначала от батарей, а потом подключать остальную часть схемы.
Затравленный и прижатый к стене кот превращается в тигра. Мигель Сервантес.