Почему десять успехов из десяти не доказывают вероятность успеха один

Десять попыток закончились успехом, и наблюдаемая доля равна единице. Однако конечная серия не сообщает, что неудача невозможна. Для перехода от данных к неизвестной вероятности нужны модель и процедура оценки. Рассмотрим десять абстрактных двоичных попыток, не называя их прибыльными сделками и не оценивая реальную систему по вымышленной истории.

Задайте неизвестный параметр и план до наблюдений

Число попыток заранее равно n=10. Они независимы, одинаково распределены, каждая даёт 1 с одной фиксированной неизвестной вероятностью p и 0 с вероятностью 1−p. Условия опыта не меняются. Число успехов K имеет биномиальное распределение. Не выбираем удачную десятку из многих и не останавливаемся после желаемой серии.

В документации NIST точные границы доли строятся по биномиальному распределению; односторонняя и двусторонняя процедуры различаются. Здесь α=0,05 — хвостовая ошибка собственного одностороннего правила. Это математическое обозначение, не указание значения настройки конкретной программы.

Определите правило для любого возможного результата

Пусть L(0)=0. Для каждого k от 1 до 10 выберем единственное число L(k) между 0 и 1, при котором сумма вероятностей K отk до 10 равнаα. Формула суммы: Σ[j=k…10] C(10,j)L(k)^j(1−L(k))^(10−j)=0,05. Отчётный интервал —отL(K) до 1. Правило задано и для неудачных выборок, а не придумано только после десяти успехов.

Такая нижняя точная граница имеет покрытие не меньше 95% для каждого фиксированного p при повторении полного опыта. Слово «точная» означает использование биномиального закона без нормального приближения, а не ровно 95% при каждом p. Дискретность оставляет запас покрытия.

Подставьте наблюдение десять из десяти

При K=10 в сумме остаётся один член: L(10)^10=0,05. Получаем L(10)=0,05^(1/10)≈0,7411344491. Наблюдаемая доля 10/10=1, нижняя граница примерно 0,7411 —это разные числа. Верхний конец 1 не означает, что параметр доказан равным 1.

Например, при гипотетическом p=0,8 вероятность десяти успехов подряд 0,8^10=0,1073741824, больше 10%. Даже p=0,5 допускает эту серию с вероятностью 1/1024. Это вероятности данных при заданном p, не вероятности самого p после данных. Распределение параметра заранее не задавалось.

Почему покрытие относится ко всему правилу

Граница L(k) растёт с k. Для фиксированного p ошибочные выборки, где L(K)>p, образуют верхний хвост K. Его вероятность не превышаетα: порог L(k) как раз получен обращением этого хвоста. Поэтому контролируется частота непокрытия при повторении процедуры, а не случайность уже фиксированного параметра.

Для отдельной проверки при p=1/2 границу вышеp дают только K=9 или 10. Их общая вероятность(10+1)/1024=11/1024. Покрытие 1013/1024≈98,9258%, не ровно 95%. Эта проверка относится к придуманному p=1/2, а не устанавливает его для наблюдённой серии.

Что нельзя перенести на будущую попытку

Полученный интервал не обещает следующий успех и не делает прошлую серию независимыми рыночными наблюдениями. Если вероятности меняются, есть общий источник ошибок или отбор удачной истории, исходная биномиальная процедура уже не описывает сбор данных. Сохраняйте объём, критерий успеха и все исходы заранее. Неизвестная вероятность требует оснований оценки; красивое отношение десять к десяти не заменяет их.

Для двустороннего 95%-интервала хвостовая ошибка распределяется иначе. Подстановка другой хвостовой вероятности в нашу конечную формулу дала бы другую границу. Это иной заранее объявленный план, а не свободный способ улучшить отчёт после просмотра данных.

Ограничения разбора

• Вероятностьp фиксирована, но неизвестна в абстрактной модели; никакие реальные сделки или частоты успеха не представлены.
• Заранее ровно10 iid Bernoulli(p) попыток без отбора истории, изменения критерия и остановки по результату. Нарушение условий требует другого обоснования.
• Односторонняя процедура с хвостомα0,05 объявлена для всехK0..10. Это не двухсторонний95%-интервал и не posterior вероятности параметра.
• Покрытие не меньше95% относится к повторению всей процедуры для каждого фиксированногоp; единичная серия не гарантирует следующий успех, доходность и отсутствие риска.

Источники

1. NIST Dataplot — Exact Binomial
2. Charles Geyer, University of Minnesota — Coverage of Confidence Intervals, 2016