Прибор с Ethernet 100Mb/s шумит в эфир на частотах приблизительно 40-80МГц (несколько горбов) + палки на других (около 100 МГц). Шумит только при подключении внешних проводов (витых пар, экранированных и заземленных с двух сторон). Более того, если на провод заземления навести - тоже виден этот шум.
Земля Ethernet'а соеденена с корпусом в одной точке проводом, основная земля подключена к корпусу через кондер.Внутри блока шумы есть и без подключения внешних проводов, но корпус все нормально экранирует. Ощущуение, что помехи выползают по экранам и вопрос - что с этим можно сделать? Может ли вообще шуметь провод заземления или если он шумит, то что-то не так с ним?

Посмотрите, скорее всего есть и гармоники на других частотах, вплоть до 800МГц, там уровни могут быть даже больше.
Скорее всего "шумит" сам PHY Ethernet, на своей основной частоте и его гармониках. можно поставить проходные фильтры бусинки, это сгладит фронты. Но какие именно надо подбирать, т.к. они всё таки вносят потери и длина линии связи будет падать.

На более высоких частотах если шумы и есть, то не критичные. А почему экран кабеля не защищает?

Экран кабеля, защищает если всё правильно подключено. Т.е. экранированный вилки/розетки RJ45, правильно разведены на плате и подключены к корпусу (можно в параллель к конденсатору повесить 1-10МОм резистор), на другом конце тоже должно быть всё кашерно. И при этом экран может только ослаблять на ХХ дБ помехи, а не 100% убирать. К тому же какой у вас кабель, они экранированные тоже разные бывают. Имеет ли этот кабель резкие изгибы?
Например можете проверить на сколько хуже/лучше с кабелем без экрана.

если делаете измерения по ЭМИ с кабелем - нужно вторую сторону кабеля вставлять в заземлённый девайс. А так кабель=антенна, в которой может твориться всё что угодно.