|
Стат. обработка экспериментальных данных |
|
|
|
Jan 22 2007, 15:34
|
Местный
  
Группа: Свой
Сообщений: 375
Регистрация: 8-11-05
Пользователь №: 10 593

|
Цитата(emark @ Jan 22 2007, 15:14)  Теперь я понял в чем корень непонимания. Вы рассматриваете случайные события с четко известной плотностью распределения вероятности. Неправильно. Я рассматрвиаю случайные события, вероятность которых вообще неизвестна, и эту вероятность нужно определить по множеству испытаний. Для того, чтобы оценить размер этого "множества испытаний" я использую априорное знание о структуре исследуемого процесса. Цитата(emark @ Jan 22 2007, 15:14)  Я же события (для упрощения) с известной формой (например гауссовой), но неизвестными переметрами. Это - к учебнику по основам теорвера. Гауссиана - это плотность вероятности случайного величины, значение которой лежит в пределах от -inf до +inf. У вас - точечное событие, которое либо произошло либо нет. Применительно к каналу для характеристики появления ошибок таких ошибок используется специальное понятие - "поток событий". Там свои вероятности и свои законы распределения. Поищите например "пуассоновский поток". Цитата(emark @ Jan 22 2007, 15:14)  Т.е. имеем источник гауссовых помех, имеем вероятность битовой ошибки - 1е-5, имеем статистику 10е+8. Нужно оценить вероятность 5 ошибок подряд и ее доверительный интервал. Вы уже задали вероятность появления битовой ошибки, 1е-5. Вам не нужно экспериментально определять значение этой вероятности - его вы уже задали. (Доверительный интервал тут не при делах - см. ниже. ) В этом случае про плотность распределения шума можно уже не говорить. свойства этой плотности уже были использованы для получения вероятности битовой ошибки p=1е-5. Т.е. вероятность одного события задана точно. Вероятность обранужения M событий подряд внутри выборки размером N равна P=(N-M+1)*p^M*(1-p)^(N-M). Другой вопрос - как рассчитать вероятность битовой ошибки по реализации длиной 10^8. Вот здесь и выплывают доверительные интервалы. Доверительная оценка - это способ определения некоторого неизвестного параметра (не важно чего - среднего значения, дисперсии, вероятности и т.д.) по набору ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ.
|
|
|
|
|
Jan 22 2007, 16:36
|
Местный
  
Группа: Участник
Сообщений: 450
Регистрация: 21-12-06
Пользователь №: 23 757

|
2 emark Относительная погрешность оценки вероятности события грубо оценивается как 1/sqrt(N), где N - число этих самых событий. Т.е. сколько ошибок зафиксируете, такова и точность. Не зфиксируете - увы... Проще сделать теоретические оценки наверное Цитата(NickNich @ Jan 22 2007, 15:34)  Вы уже задали вероятность появления битовой ошибки, 1е-5. Вам не нужно экспериментально определять значение этой вероятности - его вы уже задали. (Доверительный интервал тут не при делах - см. ниже. ) В этом случае про плотность распределения шума можно уже не говорить. свойства этой плотности уже были использованы для получения вероятности битовой ошибки p=1е-5. Т.е. вероятность одного события задана точно. Вероятность обранужения M событий подряд внутри выборки размером N равна
P=(N-M+1)*p^M*(1-p)^(N-M).
Другой вопрос - как рассчитать вероятность битовой ошибки по реализации длиной 10^8. Вот здесь и выплывают доверительные интервалы. Доверительная оценка - это способ определения некоторого неизвестного параметра (не важно чего - среднего значения, дисперсии, вероятности и т.д.) по набору ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ. Такая вероятность как будто описывается распределением Пуассона, т.е. вместо (N-M+1) там коэффициент биноминальный должен стоять
|
|
|
|
|
Jan 22 2007, 16:54
|
Местный
  
Группа: Свой
Сообщений: 375
Регистрация: 8-11-05
Пользователь №: 10 593

|
Цитата(Alex255 @ Jan 22 2007, 16:36)  Такая вероятность как будто описывается распределением Пуассона, т.е. вместо (N-M+1) там коэффициент биноминальный должен стоять Не правильно. То распределение, где стоит биноминальный коэффициент так и называется, "биноминальное распределение". Распределение Пусааона получается из биноминального предельным переходом. Биноминальное распределение задает вероятность появления M соучайных событий из N испытаний, причем события появляются в любом порядке. Отсюда возникает биноминальный коэффициент. Я нарисовал формулу, которая мозволяет рассчитать вероятность появления M событий подряд из N испытаний. Причем эта цепочка из M подряд идущих событий может стоять в любом месте выборки.
|
|
|
|
|
Jan 22 2007, 20:17
|
Местный
  
Группа: Участник
Сообщений: 450
Регистрация: 21-12-06
Пользователь №: 23 757

|
Цитата(NickNich @ Jan 22 2007, 16:54)  Цитата(Alex255 @ Jan 22 2007, 16:36)  Такая вероятность как будто описывается распределением Пуассона, т.е. вместо (N-M+1) там коэффициент биноминальный должен стоять
Не правильно. То распределение, где стоит биноминальный коэффициент так и называется, "биноминальное распределение". Распределение Пусааона получается из биноминального предельным переходом. Биноминальное распределение задает вероятность появления M соучайных событий из N испытаний, причем события появляются в любом порядке. Отсюда возникает биноминальный коэффициент. Точно  Когда то использовал его для Монте Карлы. Так вроде экспонента была... Цитата(NickNich @ Jan 22 2007, 16:54)  Я нарисовал формулу, которая мозволяет рассчитать вероятность появления M событий подряд из N испытаний. Причем эта цепочка из M подряд идущих событий может стоять в любом месте выборки. А биноминальное - когда не подряд M из N если не забыл...
|
|
|
|
|
Jan 22 2007, 20:22
|
Участник

Группа: Участник
Сообщений: 34
Регистрация: 2-10-05
Пользователь №: 9 146

|
Цитата(NickNich @ Jan 22 2007, 17:34)  Цитата(emark @ Jan 22 2007, 15:14) 
Я же события (для упрощения) с известной формой (например гауссовой), но неизвестными переметрами.
Это - к учебнику по основам теорвера. Гауссиана - это плотность вероятности случайного величины, значение которой лежит в пределах от -inf до +inf. У вас - точечное событие, которое либо произошло либо нет. Применительно к каналу для характеристики появления ошибок таких ошибок используется специальное понятие - "поток событий". Там свои вероятности и свои законы распределения. Поищите например "пуассоновский поток". Ну хорошо. Неправильно сказал. Я имел ввиду (вобщем-то это понятно из предыдущего описания), что имеется канал с гауссовым шумом (с неизвестными переметрами), на выходе которого имеем битовый поток (после декодирования) в котором происходят битовые ошибки по причине воздействия этого самого шума. Цитата(NickNich @ Jan 22 2007, 17:34)  Цитата(emark @ Jan 22 2007, 15:14)  Т.е. имеем источник гауссовых помех, имеем вероятность битовой ошибки - 1е-5, имеем статистику 10е+8. Нужно оценить вероятность 5 ошибок подряд и ее доверительный интервал.
Вы уже задали вероятность появления битовой ошибки, 1е-5. Вам не нужно экспериментально Я ее не ЗАДАЛ, я ее ИЗМЕРИЛ на статистике 10е+8. Посчитал доверительный интервал. Терерь с помощью этой формулы (или другой) Цитата(NickNich @ Jan 22 2007, 17:34)  P=(N-M+1)*p^M*(1-p)^(N-M). нахожу вероятность 5 ошибок подряд. Можно ли здесь посчитать доверительный интервал? Насколько это состоятельно, имея на руках статистику 10е+8?
|
|
|
|
|
Jan 22 2007, 20:40
|
Участник

Группа: Участник
Сообщений: 34
Регистрация: 2-10-05
Пользователь №: 9 146

|
Цитата(NickNich @ Jan 22 2007, 17:34)  Неправильно. Я рассматрвиаю случайные события, вероятность которых вообще неизвестна, и эту вероятность нужно определить по множеству испытаний. Для того, чтобы оценить размер этого "множества испытаний" я использую априорное знание о структуре исследуемого процесса. Стоп. Предположим, что ваши априорные знания ограничены только знаниями, что может выпасть орел или решка. В результате выполнения 10е+8 экспериментов выяснилось, что вероятность выпадения орла равна 10е-5 (посчитано). Посчитан доверительный интервал. Вопрос, с какой точностью (имея на руках статистику 10е+8) можно предсказать выпадение 100 орлов подряд?
|
|
|
|
|
Jan 23 2007, 14:57
|
Местный
  
Группа: Свой
Сообщений: 375
Регистрация: 8-11-05
Пользователь №: 10 593

|
Цитата(emark @ Jan 22 2007, 20:22)  Я ее не ЗАДАЛ, я ее ИЗМЕРИЛ на статистике 10е+8. Посчитал доверительный интервал. Терерь с помощью этой формулы (или другой) Цитата(NickNich @ Jan 22 2007, 17:34)  P=(N-M+1)*p^M*(1-p)^(N-M).
нахожу вероятность 5 ошибок подряд. Можно ли здесь посчитать доверительный интервал? Насколько это состоятельно, имея на руках статистику 10е+8? Можно, причем с помощю этой же самой формулы. Доверительный интервал задает границы, внутри которых лежит искомая вероятность одиночного события. Подставляете эти границы в формулу и получаете границы, внутри которых будет лежать вероятность составного события. Но здесь может потребоваться анализ монотонности формулы. Для той, что я написал точка экстремума (максимума) = M/N.
|
|
|
|
|
Jan 23 2007, 16:35
|
Участник

Группа: Участник
Сообщений: 34
Регистрация: 2-10-05
Пользователь №: 9 146

|
Цитата(NickNich @ Jan 23 2007, 16:57)  Цитата(emark @ Jan 22 2007, 20:22)  Я ее не ЗАДАЛ, я ее ИЗМЕРИЛ на статистике 10е+8. Посчитал доверительный интервал. Терерь с помощью этой формулы (или другой) Цитата(NickNich @ Jan 22 2007, 17:34)  P=(N-M+1)*p^M*(1-p)^(N-M).
нахожу вероятность 5 ошибок подряд. Можно ли здесь посчитать доверительный интервал? Насколько это состоятельно, имея на руках статистику 10е+8? Можно, причем с помощю этой же самой формулы. Доверительный интервал задает границы, внутри которых лежит искомая вероятность одиночного события. Подставляете эти границы в формулу и получаете границы, внутри которых будет лежать вероятность составного события. Но здесь может потребоваться анализ монотонности формулы. Для той, что я написал точка экстремума (максимума) = M/N. Но в начале нашего обсуждения вы написали: Цитата(NickNich @ Jan 19 2007, 12:43)  Цитата(emark @ Jan 18 2007, 19:29)  Насколько состоятельно рассуждать о событиях с вероятностями 10е-14 по собранной статистики 10е+8 при идеальном нормальном источнике шума с неизвестными параметрами?
Вообще не состоятельно. Вероятность события 10е-14 очень маленькая и на выборке в 10е+8 испытаний это событие может вообще не произойти. Если же произойдет одно событие, то его вероятность будет рассчитана как 10е-8. Если размер 10е+8 для Вас критичен, то увеличивайте количество реализаций такой длины и выполняйте стат. обработку по ансамблю реализаций. Вероятность 5 ошибок подряд будет иметь как раз такую маленькую вероятность и на выборке в 10е+8 это событие практически вряд ли произойдет, а если произойдет, то его вероятность будет рассчитана как 10е-8, что собственно и получается при использовании метода оценки доверительного интервала из (И.Н.Бронштейн, К.А. Семедяев, "Справочник по математике" М.: Наука,1986,- 544 с., стр.459, 5.2.2.3.1 Доверительная оценка неизвестной вероятности по большим выборкам.)
|
|
|
|
|
Mar 18 2007, 17:59
|
Участник

Группа: Свой
Сообщений: 60
Регистрация: 3-08-06
Пользователь №: 19 285

|
Когда-то очень крутой препод на Стохастической оптике описывал похожую стат. задачу. Только там было куча параметров, каждый со своим распределнием и нужно было что-то посчитать. Так вот в лоб на это уходило куча времени (это тоже оценивали). Потом преп начал тереть совсем запредельные темы про теорию игр, и каким-то образов во времени скостил порядка 4, если мне не изменяет память. Попробуй покопать туда.
|
|
|
|
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0
|
|
|