Цитата
с Buildroot не хотелось бы связываться, хочется самому собрать без Buildroot
Можно посоветовать Вам книжицу "Embedded Linux system design and development". В ней описан путь сборки собственного кросс-компилятора, но можно место нативного компилятора указывать применение Вашего кросс-компилятора.
Хотя в книге описаны только самые основные шаги, возни будет ну оооочень много...