Если остальные линии перевести в режим pull-up или pull-down, это увеличит потребление только.
У меня не используемые порты отключены, ничего не виснет в 103, 107 процах.

1) Каким образом программное подключение нагрузочных резисторов pull-up/pull-down по входу увеличивает ток потребления кристалла (имеется в виду, что к входу больше ничего не подключается извне)? Вы реально измеряли на сколько мА увеличивается ток?
2) Вы не тактируете неиспользуемые порты и оставляете в них висящими входы. Именно это я и предлагаю сделать. А по поводу тактируемых портов - что вы делаете со свободными выводами (или тоже их оставляете висящими в воздухе в режиме Input_Floating)?