Почему выбор лучшего бэктеста завышает ожидания

Если проверить много настроек и показать только победителя, результат выглядит убедительнее, чем весь процесс поиска. Но выбранный максимум содержит не только возможное преимущество, но и удачный для него шум. Проблема возникает на этапе отбора: оценку выбирают по тем же данным, по которым затем рассказывают об успехе. Она может завысить ожидания от новых данных.

Полностью условная модель двадцати проверок

Предположим, рассматриваются двадцать вариантов без реального преимущества. Для каждого задана корректная отдельная проверка: при таком отсутствии преимущества она случайно проходит выбранный порог с вероятностью 5%. Дополнительно зададим независимость всех двадцати результатов. Это математические условия модели, а не описание двадцати реальных торговых систем.

Под ложным флагом здесь понимается именно случайное прохождение порога. Положительная доходность на истории и статистический флаг — разные вещи; модель не утверждает, что любой прибыльный бэктест автоматически имеет вероятность ошибки 5%.

Считайте весь поиск, а не одну попытку

Вероятность не получить ложный флаг в одной проверке равна 0,95. При независимости вероятность не получить ни одного в двадцати равна 0,95²⁰ ≈ 0,3584859. Значит, вероятность хотя бы одного составляет 1 − 0,95²⁰ ≈ 0,6415141, или 64,15%.

Для одной проверки было 5%, для пяти независимых — 1 − 0,95⁵ ≈ 22,62%, для двадцати — около 64,15%. Ожидаемое число ложных флагов в последнем случае равно 20 × 0,05 = 1. Это среднее по повторениям модели: в конкретной серии флагов может не быть или оказаться несколько.

Что означает победитель такого отбора

Если из всей серии показать только прошедший вариант, читатель не увидит остальные попытки. Но число перебранных параметров, правил и периодов относится к доказательству, а не является лишней историей исследования. Сам факт выбора победителя не делает остальные проверки никогда не происходившими.

Bailey, Borwein, López de Prado и Zhu рассматривают проблему отбора стратегии по бэктестам и сравнения её поведения на подборочной и новой выборках. Их показатель PBO имеет отдельное определение. Наши 64,15% — вероятность ложного флага в упрощённой модели, а не расчёт PBO по статье и не вероятность плохой будущей сделки.

Где заканчивается применимость формулы

Реальные варианты обычно используют общую историю и похожие правила, поэтому независимость часто нарушается. Тогда подставлять количество запусков в нашу формулу без обоснования нельзя. Кроме того, число 5% должно следовать из свойств конкретной проверки; оно не возникает автоматически из интерфейса тестера.

Полученный процент не измеряет величину завышения доходности победителя. Для этого нужны распределения результатов и описание отбора. Модель показывает только, почему оценивать всю процедуру как одну заранее выбранную попытку неверно.

Как сделать исследование проверяемым

До просмотра итогов запишите семейство вариантов, метрику и критерии. Сохраните результаты всех запусков и отделите окончательную проверку от данных подбора. Повторный подбор после просмотра контрольного периода лишает его прежней роли; одно разделение данных не устраняет смену режимов и все зависимости.

Это относится и к формализации идей Вайкоффа: название метода не отменяет эффекта множества попыток. Отдельная красивая кривая не доказывает устойчивого преимущества, а данная модель не выбирает стратегию для реальной торговли.

Ограничения разбора

• Все двадцать вариантов в модели не имеют преимущества; это допущение, не диагноз реальным стратегиям.
• Точная формула 1−(1−p)^n предполагает независимые результаты с одной и той же вероятностью ложного флага.
• 64,15% не является вероятностью убыточной сделки, отсутствия преимущества у произвольно выбранной стратегии или авторским PBO.
• Модель не рассчитывает ожидаемую доходность победителя, комиссии, проскальзывание и изменение рыночного режима.

Источники

1. Bailey, Borwein, López de Prado, Zhu — The Probability of Backtest Overfitting (2015)