Как читать бэктест

Что такое бэктест

Бэктест — прогон правил стратегии по историческим данным: где был бы вход, где стоп и тейк, чем закончилась бы каждая сделка. Итог — список сделок и метрики. Бэктест отвечает на вопрос «работало ли это раньше», но не гарантирует, что будет работать дальше. Его задача — отсеять плохие идеи до того, как они стоили денег.

Пять цифр, которые нужно смотреть

1. Количество сделок. 20 сделок — это анекдот, 200 — уже статистика. Калькулятор выше показывает, насколько широк диапазон настоящего винрейта при малом числе сделок.
2. Ожидание сделки — сколько в среднем приносит одна сделка, лучше в R или в процентах с учётом комиссии. Если оно около нуля, стратегия не работает, какой бы красивой ни была кривая.
3. Профит-фактор — сумма прибылей, делённая на сумму убытков. Меньше 1 — убыток, 1,2–1,5 — рабочая стратегия, выше 3 на большой выборке — повод искать ошибку.
4. Максимальная просадка — самое глубокое падение счёта от пика. Спроси себя, выдержишь ли ты её на реальных деньгах. В жизни просадка обычно больше, чем в бэктесте.
5. Винрейт вместе с соотношением прибыли и убытка. Отдельно винрейт ничего не значит — почему, разобрано в гайде «Почему сигнальные каналы сливают».

Подгонка под историю

Главная ловушка бэктеста — подгонка (overfitting). Если перебрать тысячу вариантов настроек, какой-то обязательно окажется прибыльным на истории — просто случайно. Такая стратегия описывает прошлый шум, а не закономерность, и на новых данных проваливается.

Чем больше параметров у стратегии и чем меньше сделок, тем проще подогнать. Стратегия с пятью условиями, подобранными на 40 сделках, почти наверняка подогнана.

Красные флаги в чужом бэктесте

• Нет комиссий и проскальзывания. Для частых сделок это разница между плюсом и минусом.
• Только бычий рынок. Лонговая стратегия на 2020–2021 годах выглядит гениально почти любая.
• Подсматривание в будущее. Вход по цене закрытия свечи, которая ещё не закрылась, или индикатор, который перерисовывается.
• Только выжившие монеты. Тест на сегодняшнем топе монет не видит тех, что за это время умерли.
• Идеальная кривая. Ровный рост без просадок — чаще ошибка в коде, чем гениальность.
• Нет проверки на отложенных данных. Настройки подобраны и проверены на одном и том же периоде.

Как проверить по-честному

1. Отложенные данные. Подбирай настройки на одной части истории, а проверяй на другой, которую стратегия не видела. Именно этот результат и считается.
2. Несколько независимых периодов. Стратегия должна быть в плюсе в каждом, а не в среднем.
3. Сравнение со случайными входами. Те же стопы и тейки, но вход в случайный момент. Если случайные входы зарабатывают не хуже — заслуга не в сигнале, а в рынке.
4. Устойчивость к настройкам. Если стопа 1,5 ATR даёт прибыль, а 1,4 и 1,6 — убыток, это подгонка.
5. Демо или минимальный объём перед реальными деньгами.

Наш пример: стратегия, которую мы выбросили

Мы проверяли идеи торговли по потоку ордеров — поглощение, расхождение дельты, дисбалансы покупок и продаж — на собственных данных Bybit по 20 монетам. Около 2 800 вариантов настроек, комиссия и проскальзывание 0,13% за круг. Настройки подбирали на первых 60% истории, проверяли на последних 40%.

Лучшие варианты на первой части показывали +0,4% на сделку и профит-фактор около 2. На отложенных данных те же настройки дали от −0,2% до −0,6% на сделку. Ни один из 2 800 вариантов не остался в плюсе. Классическая подгонка — и именно поэтому такие стратегии мы не запускаем. По той же схеме — несколько периодов, сравнение со случайными входами, комиссия 0,055% за сторону — проверены сканы в нашем боте.

Частые вопросы