Почему обнаружение 90% событий не означает 90% верных предупреждений

Фраза «правило обнаруживает девять событий из десяти» описывает важное свойство, но не отвечает на вопрос, сколько его предупреждений верны. В знаменатель попадают разные случаи. Если нужное событие редкое, ошибочных предупреждений может оказаться больше правильных даже при высокой доле обнаружения. Проверим это на полных условных таблицах, без оценки реальной торговой системы.

Назовите две группы до подсчёта

Для каждого случая отдельно известны наличие свойства и ответ правила. Верное обнаружение обозначим TP, пропуск существующего события — FN, ложное предупреждение без события — FP, верное отсутствие предупреждения — TN. Сумма четырёх клеток должна включать всю изучаемую группу, а не только красивые срабатывания.

В курсе Google по классификации recall равен TP/(TP+FN), а precision — TP/(TP+FP). Первое спрашивает о найденных событиях, второе — о содержании предупреждений. Доля ложных срабатываний среди случаев без события равна FP/(FP+TN); её нельзя подменять долей ложных среди самих предупреждений.

Полная группа с редким свойством

Все числа вымышлены. Есть 10000 случаев, из них свойство присутствует в 100 и отсутствует в 9900. Правило отмечает 90 существующих событий, пропускает 10. Среди 9900 остальных оно выдаёт 495 ложных предупреждений и правильно молчит в 9405 случаях. Сумма 90+10+495+9405 равна 10000.

Обнаружение составляет 90/100=90%. Ложное срабатывание среди отрицательных случаев — 495/9900=5%. Но всего предупреждений 90+495=585. Из них верны лишь 90/585=2/13, примерно 15,38%. Оставшиеся 495/585=11/13, примерно 84,62%, ложны. Ошибки нет: у показателей разные исходные множества.

Измените только состав полной группы

В отдельной условной группе снова 10000 случаев, но событие есть в 1000, отсутствует в 9000. Зададим те же доли обнаружения 90% и ложных срабатываний 5%. Получаются TP 900, FN 100, FP 450, TN 8550. Предупреждений теперь 1350, верная доля 900/1350=2/3, примерно 66,67%.

Мы не улучшали заданные условные доли работы правила. Изменили распространённость свойства с 1% на 10%. Поэтому один процент «обнаружения» не определяет состав выходящих предупреждений без сведений о том, в какой группе правило применяется. Обе группы здесь придуманы полностью, а не выбраны как удачный и неудачный рыночные периоды.

Запишите связь через три доли

Пусть p — доля случаев с событием, a — доля обнаружения среди них, f — доля ложных среди остальных. Тогда доля верных предупреждений равна ap/(ap+f(1−p)), если предупреждения вообще есть. Формула получается делением двух соответствующих количеств на общий размер группы.

При p=0,01, a=0,90, f=0,05 числитель равен 0,009, знаменатель 0,0585, отношение 2/13. В этом расчёте не требуется независимость соседних наблюдений: проверяется полная заданная таблица. Для вывода о будущей выборке понадобились бы отдельные основания, качество меток и оценка неопределённости.

Что проверять в журнале исследования

Сохраняйте все четыре количества, определение события, охват и пропуски данных. Не обещайте девять удачных сделок из десяти по одному recall. В исследовании формального условия Вайкоффа сначала нужна воспроизводимая разметка; прибыльность и доступность исполнения остаются отдельными вопросами. Эта таблица не выбирает порог, стратегию или допустимый риск.

Ограничения разбора

• Обе группы, распространённость и все клетки таблиц вымышлены; никаких реальных частот Вайкоффа, торговли или редких событий не утверждается.
• Один фиксированный классификатор, две явно заданные группы; подбор лучших вариантов и статистическая значимость не рассчитываются.
• Свойство и предупреждение известны по условию. Ошибки исходной разметки, задержки данных и прибыльность не моделируются.
• Полная конечная таблица не оценивает будущую precision или независимость наблюдений; при отсутствии предупреждений precision требует отдельного обращения с нулевым знаменателем.

Источники

1. Google Developers — Classification: Accuracy, recall, precision, and related metrics