Если проверить много настроек и показать только победителя, результат выглядит убедительнее, чем весь процесс поиска. Но выбранный максимум содержит не только возможное преимущество, но и удачный для него шум. Проблема возникает на этапе отбора: оценку выбирают по тем же данным, по которым затем рассказывают об успехе. Она может завысить ожидания от новых данных.

Полностью условная модель двадцати проверок

Предположим, рассматриваются двадцать вариантов без реального преимущества. Для каждого задана корректная отдельная проверка: при таком отсутствии преимущества она случайно проходит выбранный порог с вероятностью 5%. Дополнительно зададим независимость всех двадцати результатов. Это математические условия модели, а не описание двадцати реальных торговых систем.

Под ложным флагом здесь понимается именно случайное прохождение порога. Положительная доходность на истории и статистический флаг — разные вещи; модель не утверждает, что любой прибыльный бэктест автоматически имеет вероятность ошибки 5%.

Считайте весь поиск, а не одну попытку

Вероятность не получить ложный флаг в одной проверке равна 0,95. При независимости вероятность не получить ни одного в двадцати равна 0,95²⁰ ≈ 0,3584859. Значит, вероятность хотя бы одного составляет 1 − 0,95²⁰ ≈ 0,6415141, или 64,15%.

Для одной проверки было 5%, для пяти независимых — 1 − 0,95⁵ ≈ 22,62%, для двадцати — около 64,15%. Ожидаемое число ложных флагов в последнем случае равно 20 × 0,05 = 1. Это среднее по повторениям модели: в конкретной серии флагов может не быть или оказаться несколько.

Что означает победитель такого отбора

Если из всей серии показать только прошедший вариант, читатель не увидит остальные попытки. Но число перебранных параметров, правил и периодов относится к доказательству, а не является лишней историей исследования. Сам факт выбора победителя не делает остальные проверки никогда не происходившими.

Bailey, Borwein, López de Prado и Zhu рассматривают проблему отбора стратегии по бэктестам и сравнения её поведения на подборочной и новой выборках. Их показатель PBO имеет отдельное определение. Наши 64,15% — вероятность ложного флага в упрощённой модели, а не расчёт PBO по статье и не вероятность плохой будущей сделки.

Где заканчивается применимость формулы

Реальные варианты обычно используют общую историю и похожие правила, поэтому независимость часто нарушается. Тогда подставлять количество запусков в нашу формулу без обоснования нельзя. Кроме того, число 5% должно следовать из свойств конкретной проверки; оно не возникает автоматически из интерфейса тестера.

Полученный процент не измеряет величину завышения доходности победителя. Для этого нужны распределения результатов и описание отбора. Модель показывает только, почему оценивать всю процедуру как одну заранее выбранную попытку неверно.

Как сделать исследование проверяемым

До просмотра итогов запишите семейство вариантов, метрику и критерии. Сохраните результаты всех запусков и отделите окончательную проверку от данных подбора. Повторный подбор после просмотра контрольного периода лишает его прежней роли; одно разделение данных не устраняет смену режимов и все зависимости.

Это относится и к формализации идей Вайкоффа: название метода не отменяет эффекта множества попыток. Отдельная красивая кривая не доказывает устойчивого преимущества, а данная модель не выбирает стратегию для реальной торговли.

Ограничения разбора

• Все двадцать вариантов в модели не имеют преимущества; это допущение, не диагноз реальным стратегиям.
• Точная формула 1−(1−p)^n предполагает независимые результаты с одной и той же вероятностью ложного флага.
• 64,15% не является вероятностью убыточной сделки, отсутствия преимущества у произвольно выбранной стратегии или авторским PBO.
• Модель не рассчитывает ожидаемую доходность победителя, комиссии, проскальзывание и изменение рыночного режима.

Источники

1. Bailey, Borwein, López de Prado, Zhu — The Probability of Backtest Overfitting (2015)

Красивая историческая таблица может безошибочно выбирать растущие участки, потому что направление следующего движения уже лежит в строке сигнала. Наличие такого столбца в файле не означает его доступность в прошлом. Проверять нужно не только формулу прибыли, но и время появления каждого входного значения относительно решения.

Граница доступной информации

В Research Guide QuantConnect look-ahead bias определяется через использование будущей информации для текущего решения. Там отдельно различаются конец отчётного периода и фактическая публикация сведений. Мы используем только принцип доступности; чужие численные оценки улучшения результатов не переносим.

Для каждого сигнала нужны три момента: к какому событию относятся данные, когда они реально стали доступны и когда принято решение. Исторический файл может содержать их все сразу. Если использовать только дату события, задержка публикации исчезнет из исследования, хотя в момент выбора она существовала.

Полностью условный журнал

Зададим пять последовательных цен P0=100, P1=104, P2=101, P3=106, P4=102. В начале каждого из четырёх интервалов можно держать ровно одну единицу актива либо наличные, в конце позиция закрывается. Исходных денег 200 достаточно для любой покупки. Все исполнения по указанным ценам заданы одинаково для сравниваемых правил; расходов, процентов и иных событий нет.

Неверный сигнал F_t равен 1, если P_(t+1)>P_t, иначе 0. Единица означает покупку в начале интервала с продажей в конце. Для четырёх интервалов F равен 1,0,1,0. Он выбирает изменения +4 и +5, пропускает −3 и −4: сумма +9, итог денег 209. Но P_(t+1) становится известна только в конце интервала, после решения t.

Что меняет честное запаздывание

Для отдельной проверки зададим другое правило L_t: использовать знак уже завершённого предыдущего изменения. Перед первым интервалом предыдущего значения нет, поэтому L0=0 по условию. Далее L равно 1,0,1. Полный ряд позиций 0,1,0,1 приносит 0−3+0−4=−7, конечные деньги 193.

Это не универсальная оценка честных стратегий и не доказательство полезности противоположного сигнала. Запоздалое правило просто не равно исходному оракулу. Перенос столбца на один шаг меняет операции и результат; он не возвращает способность заранее знать будущую цену. Для ориентира непрерывное удержание одной единицы от 100 до 102 дало бы +2, но оно тоже не подтверждает преимущество на новых данных.

Как проверять сигнал до расчёта доходности

Составьте журнал: момент решения, использованные поля, их время публикации и самое позднее доступное значение. Для каждой строки проверьте неравенство «доступность≤решение». В нашем ошибочном правиле оно нарушено во всех четырёх строках, даже там, где сигнал 0 и покупки нет. Отсутствие сделки не исправляет использование неизвестного будущего.

Затем проверьте пересмотры данных, задержки и окончательность значений. Для разметки Вайкоффа аналогичный вопрос возникает, если позднее подтверждённое событие отмечают как заранее известное. Корректное время не доказывает торгового преимущества: останутся расходы, качество модели и независимая проверка. Эта статья устраняет один дефект информационного порядка, не выбирая реальную стратегию.

Ограничения разбора

• Все пять цен и допустимые исполнения вымышлены; модель не гарантирует возможность купить реальное закрытие после его наблюдения.
• Полное исполнение одной единицы, достаточность наличных и отсутствие расходов заданы только для выделения ошибки времени информации.
• F — заведомо недоступное правило; L — другое условное правило, а не автоматически корректная или полезная торговая система.
• Результаты +9/−7/+2 не являются прогнозом, оценкой реальной доходности или сравнением множества отобранных тестов.

Источники

1. QuantConnect Documentation — Research Guide: Look-ahead Bias

Фраза «правило обнаруживает девять событий из десяти» описывает важное свойство, но не отвечает на вопрос, сколько его предупреждений верны. В знаменатель попадают разные случаи. Если нужное событие редкое, ошибочных предупреждений может оказаться больше правильных даже при высокой доле обнаружения. Проверим это на полных условных таблицах, без оценки реальной торговой системы.

Назовите две группы до подсчёта

Для каждого случая отдельно известны наличие свойства и ответ правила. Верное обнаружение обозначим TP, пропуск существующего события — FN, ложное предупреждение без события — FP, верное отсутствие предупреждения — TN. Сумма четырёх клеток должна включать всю изучаемую группу, а не только красивые срабатывания.

В курсе Google по классификации recall равен TP/(TP+FN), а precision — TP/(TP+FP). Первое спрашивает о найденных событиях, второе — о содержании предупреждений. Доля ложных срабатываний среди случаев без события равна FP/(FP+TN); её нельзя подменять долей ложных среди самих предупреждений.

Полная группа с редким свойством

Все числа вымышлены. Есть 10000 случаев, из них свойство присутствует в 100 и отсутствует в 9900. Правило отмечает 90 существующих событий, пропускает 10. Среди 9900 остальных оно выдаёт 495 ложных предупреждений и правильно молчит в 9405 случаях. Сумма 90+10+495+9405 равна 10000.

Обнаружение составляет 90/100=90%. Ложное срабатывание среди отрицательных случаев — 495/9900=5%. Но всего предупреждений 90+495=585. Из них верны лишь 90/585=2/13, примерно 15,38%. Оставшиеся 495/585=11/13, примерно 84,62%, ложны. Ошибки нет: у показателей разные исходные множества.

Измените только состав полной группы

В отдельной условной группе снова 10000 случаев, но событие есть в 1000, отсутствует в 9000. Зададим те же доли обнаружения 90% и ложных срабатываний 5%. Получаются TP 900, FN 100, FP 450, TN 8550. Предупреждений теперь 1350, верная доля 900/1350=2/3, примерно 66,67%.

Мы не улучшали заданные условные доли работы правила. Изменили распространённость свойства с 1% на 10%. Поэтому один процент «обнаружения» не определяет состав выходящих предупреждений без сведений о том, в какой группе правило применяется. Обе группы здесь придуманы полностью, а не выбраны как удачный и неудачный рыночные периоды.

Запишите связь через три доли

Пусть p — доля случаев с событием, a — доля обнаружения среди них, f — доля ложных среди остальных. Тогда доля верных предупреждений равна ap/(ap+f(1−p)), если предупреждения вообще есть. Формула получается делением двух соответствующих количеств на общий размер группы.

При p=0,01, a=0,90, f=0,05 числитель равен 0,009, знаменатель 0,0585, отношение 2/13. В этом расчёте не требуется независимость соседних наблюдений: проверяется полная заданная таблица. Для вывода о будущей выборке понадобились бы отдельные основания, качество меток и оценка неопределённости.

Что проверять в журнале исследования

Сохраняйте все четыре количества, определение события, охват и пропуски данных. Не обещайте девять удачных сделок из десяти по одному recall. В исследовании формального условия Вайкоффа сначала нужна воспроизводимая разметка; прибыльность и доступность исполнения остаются отдельными вопросами. Эта таблица не выбирает порог, стратегию или допустимый риск.

Ограничения разбора

• Обе группы, распространённость и все клетки таблиц вымышлены; никаких реальных частот Вайкоффа, торговли или редких событий не утверждается.
• Один фиксированный классификатор, две явно заданные группы; подбор лучших вариантов и статистическая значимость не рассчитываются.
• Свойство и предупреждение известны по условию. Ошибки исходной разметки, задержки данных и прибыльность не моделируются.
• Полная конечная таблица не оценивает будущую precision или независимость наблюдений; при отсутствии предупреждений precision требует отдельного обращения с нулевым знаменателем.

Источники

1. Google Developers — Classification: Accuracy, recall, precision, and related metrics