Так все правильно - тулчейн и не кладется в rootfs, он так и остается на хосте.
Тулчейн не нужен на плате, т.к. редко кто собирает проекты непосредственно на плате

Обычно компилируют на хосте и затем переносят собранное приложение на плату.
Если я конечно правильно понял вашу мысль...