Почему уменьшение ошибки подгонки ещё не доказывает новый сигнал

Более гибкая формула прошла обучающие точки без единой ошибки. Этого ещё недостаточно, чтобы считать её новым полезным сигналом. Иногда уменьшение ошибки объясняется самим расширением допустимых функций. Разберём точные минимумы на маленькой полной таблице и один отдельный ответ, который не использовался для подгонки. Рыночные результаты или вероятности успеха здесь не оцениваются.

Назовите классы и одну цель

В конспекте Stanford STATS202 различены обучающая ошибка и ошибка на данных, не использованных для оценки функции. Низкая первая сама по себе не устанавливает низкую вторую. В нашей собственной модели вместо средней ошибки используем сумму квадратов SSE; при одинаковых трёх обучающих точках деление на 3 не меняло бы минимум. Все три наблюдения имеют одинаковый вес.

Класс C0 содержит все функции f(x)=c. Класс C2 — все функции f(x)=a+bx+dx². Он включает C0: достаточно b=d=0. Оба класса, три обучающие пары(0,0),(1,1),(2,0) и отложенная пара(3,0) заданы заранее. Значения безразмерные; это не цены, сделки или случайная рыночная выборка.

Точно найдите лучшую постоянную

Для c сумма квадратов равна c²+(1−c)²+c²=3(c−1/3)²+2/3. Первый член неотрицателен, поэтому минимум достигается при c=1/3 и равен 2/3. Предсказания на обучении:1/3;1/3;1/3, остатки y−f(x):−1/3;2/3;−1/3.

Квадраты остатков 1/9;4/9;1/9 в сумме дают 6/9=2/3. Если подписывать среднюю обучающую ошибку, это было бы 2/9. Название метрики нужно сохранить рядом с числом, чтобы не сравнивать сумму одной таблицы со средним другой.

Расширенный класс сохраняет прежний вариант

Функция q(x)=2x−x² принадлежит C2. В точках 0,1,2 она даёт ровно 0,1,0, поэтому SSE=0. Меньше нуля сумма квадратов быть не может: это точный минимум. Коэффициенты равны a=0,b=2,d=−1.

Общее основание для неувеличения минимума — вложенность C0 в C2 при той же цели и данных. Прежняя постоянная остаётся допустимой. Строгое снижение не обязательно: если все три обучающих ответа заменить отдельным условным вариантом 1, функция f=1 даёт ноль в обоих классах. Реальный численный алгоритм тоже не обязан найти точный минимум.

Один раз откройте отложенную точку

Теперь используем заранее отложенное x=3,y=0. Постоянная предсказывает 1/3; квадрат ошибки равен 1/9. Парабола предсказывает 6−9=−3; квадрат ошибки равен 9. Нулевая обучающая SSE в этом примере совместима с большей отдельной проверочной ошибкой.

Отложенная точка не входила в подбор коэффициентов и классов внутри задачи. Но одна придуманная точка не оценивает ожидаемую ошибку на рынке и не доказывает универсальное преимущество постоянной. Это контрпример к переносу порядка обучающих минимумов на любую другую таблицу, а не статистическое исследование эффективности.

Что фиксировать до красивой кривой

Сохраните допустимые функции, цель без подмены штрафом, обучающие наблюдения и момент открытия контрольных ответов. Повторное изменение модели после просмотра проверки требует новой процедуры оценки. Для формализации рыночных правил особенно важно отделить то, что алгоритму разрешили воспроизвести, от новых независимых оснований. Пример не выбирает торговую формулу: он объясняет, почему точная подгонка сама по себе таких оснований не добавляет.

Ограничения разбора

• Все четыре пары и оба класса функций заданы автором; вероятностная генерация, репрезентативность и статистическая независимость выборок не заявляются.
• Сравнивается точный минимум одной нештрафованной SSE на тех же трёх обучающих точках. Другая цель, ограничения или ошибка численного оптимизатора потребуют отдельной проверки.
• Точка(3,0) заранее исключена из подгонки и выбора классов внутри модели. Один проверочный квадрат не является оценкой генеральной ошибки или торгового преимущества.
• Полином имеет степень не выше2, поэтому содержит константы. Не утверждается строгое снижение ошибки при любом добавлении параметров или обязательное ухудшение на новых данных.

Источники

1. Stanford STATS202 — Supervised learning, Test vs. training error