В аттаче сигнал, требуется выставить порог по красной линии.
Как описать математически уровень порога ?

Шум какой-то несимметричный. Для белого я бы предложил матожидание + a*сигма, где а - коэффициент пропорциональности. Но у вас отклонения вверх и вниз разные, потому к матожиданию добавлять долю от среднего (среднеквадратического) отклонения вверх.

Математически?..
Это уравнение кривой Или в частном случае прямой
Вычисляется на основе определения скз шума. СКЗ ж можете посчитать?
Далее рисуете ПРВ шума, ставите свое значение порога, и определяете вероятность превышения этого порога.

P.S.: Начните с определения матожидания, скв и построения прв.

Приложите линеечку, измерьте высоту красной линии относительно нуля, помножте на масштаб, получите значение порога. Порог - постоянная величина.

Посчитайте сигму (корень из с.к.о.), 3*сигма будет близко к красной линии.

Кстати, вопрос немного странный. Для чего выставляется порог? Если для обнаружения/выделения какого-то сигнала, то не лучше ли сначала попробовать пофильтровать, а потом уже порогами заниматься?

Так наверное и хотят отфильтровать, по порогу.

Присоединяюсь к 3 сигма. Тогда вероятность того, что шум выйдет за этот порог будет 3%.
А если 6 сигма- то вообще - 1/миллион.
Если сигнал гауссовый и стационарный, и в подсчет сигмы промахи не учитываются.

Пороговое устройство - последнее в цепи обработки сигнала. Вся фильтрация должна осуществляться до него. Пороговое устройство не есть фильтр, это уже устройство принятия решения (типа пускаем - не пускаем ракету). А вся обработка до него направлена на минимизацию ошибок при принятии решения (первого и второго рода - ложной тревоги и пропуска цели).

Что-то топик стартер в дискуссии не принимает участия, хотелось бы узнать откуда был снят такой сигнал, и что потом хотят делать с "отфильтрованным" сигналом.
А по поводу устройство принятия решения, вот Вам пример. Ракета с трассером в хвосте, следим за ней оптическим каналом. По 3 сигма отрезаем все что ниже - бинаризуем
изображение, далее сегментация и оценка траектории центра масс связанных областей, а вот потом уже принимаем какао-либо решение.
В такой постановке задачи, 3 сигма чем Вам не фильтрация?