Разобраться с Softmax Layer в ИНС, Из Matlab NNtoolbox Опции

[count_enable]

Помогите до конца разобраться как работает Softmax Layer, на примере из матлаба.
http://es.mathworks.com/help/nnet/examples...sification.html

Как работает функция софтмакс я понимаю: берём вектор Х ненормированных значений, и превращаем его в такой вектор Y, сумма значений которого равна единице. Но что значит Softmax Layer? Вот у нас на картинке есть слой из 10 нейронов с 50 входами каждый. На выходе получаем 10 значений. Какая функция активации этих нейронов в слое? Просто сумма, ReLU, сигмоида? Я так понял что софтмакс применяется уже к выходам из слоя. К сожалению матлаб у меня старый и в тулбоксе автоэнкодеров нету, экспериментально проверить не могу.