Стат. обработка экспериментальных данных Опции

[emark]

Никогда не занимался стат. обработкой экспериментальных данных.
Требуется помощь клуба
Имется гауссовый (предположительно) канал передачи данных с
неизвестными параметрами (данные - битовый поток). Параметры
канала (в отсутствии сигнала) вычисляются при помощи статистической
обработки отсчетов шума. Предположим шум в канале имеет нормальное
распределение и стационарен (вопрос пока не в этом).
Передаваемый через канал сигнал обрабатывается декодером, подключенным
к выходу линейного тракта приемника и статистически обрабатывается.
Всего предано во время эксперимента 10e+8 бит данных. Вероятность битовой
ошибки составляет 10e-5. Необходимо получить 10е-14. Как вариант -
воспользоваться помехозащищенным кодированием.

Вопрос вот в чем.
10е-5 - это точечная оценка вероятности битовой ошибки
с доверительным интервалом при мере значимости 0.95 [1.043070e-05 9.587083e-06]
на статистики 10e+8.
Применив кодирование, я начинаю оценивать вероятности 10е-14 (с такой
вероятностью будут появляться не обнаруживаемые кодом комбинации),
но на той же статистике (10е+8) при точечной оценки вероятности буду иметь
доверительный интервал порядка [1.778455e-08, 5.622858e-21]. Доверительный
интервал считался через гауссовый интеграл.

Это означает, что мне катострофически не хватает статистики?

Вообще интересен следующий вопрос. Насколько состоятельно рассуждать
о событиях с вероятностями 10е-14 по собранной статистики 10е+8 при
идеальном нормальном источнике шума с неизвестными параметрами?

[NickNich]

Насколько состоятельно рассуждать
о событиях с вероятностями 10е-14 по собранной статистики 10е+8 при
идеальном нормальном источнике шума с неизвестными параметрами?

Вообще не состоятельно. Вероятность события 10е-14 очень маленькая и на выборке в 10е+8 испытаний это событие может вообще не произойти. Если же произойдет одно событие, то его вероятность будет рассчитана как 10е-8. Если размер 10е+8 для Вас критичен, то увеличивайте количество реализаций такой длины и выполняйте стат. обработку по ансамблю реализаций.

[Tanya]

Вообще не состоятельно. Вероятность события 10е-14 очень маленькая и на выборке в 10е+8 испытаний это событие может вообще не произойти. Если же произойдет одно событие, то его вероятность будет рассчитана как 10е-8. Если размер 10е+8 для Вас критичен, то увеличивайте количество реализаций такой длины и выполняйте стат. обработку по ансамблю реализаций.

Трудно с Вами согласится. Вот возьмем монетку и бросим 1000 раз.
После этого нетрудно посчитать вероятность того, что подряд выпадет 10^10 орлов.

[NickNich]

Трудно с Вами согласится. Вот возьмем монетку и бросим 1000 раз.
После этого нетрудно посчитать вероятность того, что подряд выпадет 10^10 орлов.

При подбрасывании монетки возможно два исхода - выпадение орла или решки. Перед экспериментом делается предположение, что вероятность выпадения орла - 1/2. По 1000 событий можно оценить вероятность выпадения орла. Ессно, с некоторым дов.интервалом. Чтобы уменьшить этот интервал монетку подбрасывали 42 тыс. раз (где-то читал). По этой оценке вероятности выпадения орла можно рассчитать оценку выпадения 10^10 орлов подряд, возведя вероятность в соответствующую степень.

Автор темы ставит обратную задачу - как проверить по одной реализации предположение о вероятности возникновения события. При той длине реализации, которую задал автор, можно проверить только события, вероятности которых много больше 10e-8. Причину я указал выше.

[emark]

При подбрасывании монетки возможно два исхода - выпадение орла или решки. Перед экспериментом делается предположение, что вероятность выпадения орла - 1/2. По 1000 событий можно оценить вероятность выпадения орла. Ессно, с некоторым дов.интервалом. Чтобы уменьшить этот интервал монетку подбрасывали 42 тыс. раз (где-то читал). По этой оценке вероятности выпадения орла можно рассчитать оценку выпадения 10^10 орлов подряд, возведя вероятность в соответствующую степень.

Автор темы ставит обратную задачу - как проверить по одной реализации предположение о вероятности возникновения события. При той длине реализации, которую задал автор, можно проверить только события, вероятности которых много больше 10e-8. Причину я указал выше.

Мне кажется, как раз легко сводится к моей задаче.

Пусть монета слегка кривовата. Форму распределения плотности вероятности мы знаем, не знаем только параметр учитывающия кривизну монеты (как у меня гаусс с неизвестными параметрами). Набираем статистику 10е+3, получаем некий результат, предположим 0.499, находим доверительный интервал - [5.299342e-01, 4.680735e-01] (И.Н.Бронштейн, К.А. Семедяев, "Справочник по математике" М.: Наука,1986,- 544 с., стр.459, 5.2.2.3.1 Доверительная оценка неизвестной вероятности по большим выборкам.)

Терерь сделаем точечную оценку вероятности выпадения 10^2 орлов подряд - 6.457354e-31
Находим доверительный интервал на статистике 10е+3 - [3.826758e-03, 1.085458e-58] Оппа...

[NickNich]

Мне кажется, как раз легко сводится к моей задаче.

Как раз к Вашей задаче это отношения не имеет. Точнее, имеет отношение с точностью до наоборот. Вероятность события, состоящего в отсутствии выпадения орла в 1000 бросаний (т.е. выпадает только решка) равна 0.5^1000. Т.е. это практически невозможное событие. Вероятность того, что ошибка (с вероятностью появления p=10^-14) не реализуется внутри последовательности длиной N=10^8 равна
(1-p)^N~1-Np=0,999999. Т.е. Вы практически всегда будете получать отсутствие ошибки внутри реализации длиной N=10^8.

Глава книжки, которую Вы процитировали содержит слова "по большим выборкам". Вот для случая с монеткой выборка в 1000 испытаний - большая, а для случай с ошибкой в канале связи выборка в 10^8 испытаний не просто маленькая. Она ваще никакая...

Находим доверительный интервал на статистике 10е+3 - [3.826758e-03, 1.085458e-58] Оппа...

Это бывает. Если Вы получили точечную оценку и доверительный инетрвал для какой-то реализации, то в соответствующую степень нужно возводить уже полученные границы инетрвала, а не считать их снова.

[emark]

Находим доверительный интервал на статистике 10е+3 - [3.826758e-03, 1.085458e-58] Оппа...

Это бывает. Если Вы получили точечную оценку и доверительный инетрвал для какой-то реализации, то в соответствующую степень нужно возводить уже полученные границы инетрвала, а не считать их снова.

Не понял.... что на что умножать (возводить) в моем случае?

Мне-то кажется вполне закономерно, что нижняя граница доверительного интервала (3.826758e-03) соотносится с накопленной статистикой. Вобщем-то, это подтверждает ваши выводы о нехватке статистики.

Дело в том, что при имеющихся ресурсах на это потребуется 300 лет

Чудес не бывает. В текущей реальности не существует хитрого алгоритма, позволяющего рассчитать вероятность редкого события по единственной реализации этого события.

Даже, если известен вид распределения плотности вероятности (например гаусс с неизвестными параметрами)? Рассмотрим идеальный случай.

[NickNich]

Не понял.... что на что умножать (возводить) в моем случае?

Вы рассчитали доверительный интервал [5.299342e-01, 4.680735e-01] и точечную вероятность 0.499. Для того, чтобы определить в каких границах будет находиться вероятность выпадения 10^10 орлов подряд нужно возвести в степень 10^10 крайние значения доверительного интервала.

В случае с каналом связи (именно этот случай - Ваш) ничего умножать или возводить в степень не нужно, не поможет. У Вас вероятность отсутствия ошибки внутри выборки примерно 0,999999 (см. выше). Все что можно в такой ситуации сделать - увеличить длину реализации или размерность ансамбля реализаций.

[emark]

Не понял.... что на что умножать (возводить) в моем случае?

Вы рассчитали доверительный интервал [5.299342e-01, 4.680735e-01] и точечную вероятность 0.499. Для того, чтобы определить в каких границах будет находиться вероятность выпадения 10^10 орлов подряд нужно возвести в степень 10^10 крайние значения доверительного интервала.

Получим вероятность значительно превышающую единицу (у вас скорее всего описка).

Но если вернуться к слегка кривой монете и выпадении 100 орлов подряд я не вижу принципиальнных отличий от моего случая когда скажем рассматривается вероятность десятикратной подряд ошибки на моеей статистики (ведь возникновение ошибки - это тоже некое событие как и выпадение орла, только вероятность его 0.499, а 10е-5).

И потом, т.е. вы утверждаете , что на выборке 1000 при эксперименте с кривой монетой уже достаточно статистики чтобы делать выводы об очень редких событиях (100 орлов подряд) со столь малым доверительным интервалом?