Методика
Как мы проверяем стратегии
Красивый бэктест получить легко: достаточно подобрать параметры под уже случившуюся историю. Полезен только результат, который повторился на данных, не участвовавших в настройке. Ниже — что именно мы делаем, чтобы себя не обмануть.
Обязательные контроли
Никакого заглядывания вперёд
На каждом бару стратегия видит только уже закрытые свечи. Уровни, тренды и индикаторы считаются по данным, доступным в тот момент, а не по всей истории целиком.
Издержки внутри, а не «потом»
Комиссии обеих сторон сделки, проскальзывание и фандинг перпов включены в результат. Именно на этом шаге исчезает большинство «прибыльных» идей.
Walk-forward по окнам
Период делится на последовательные окна, и результат смотрится в каждом отдельно. Стратегия, которая зарабатывает в одном окне и теряет в двух, считается неустойчивой.
Плато вместо пика
Берём не лучшую конфигурацию по сетке, а ту, у которой соседние настройки тоже работают. Одинокий пик — почти всегда подгонка под историю.
Вероятность, а не средняя
Monte-Carlo даёт распределение результата за реальный горизонт: какова вероятность оказаться в плюсе за два месяца и каков худший сценарий из худших пяти процентов.
Bootstrap для доверительного интервала
Пересобираем сделки тысячами вариантов, чтобы отличить настоящее преимущество от случайно удачной последовательности.
Что мы считаем провалом
- Прибыль только в одном из временных окон — это режим, а не преимущество
- Результат держится на нескольких сделках или одной монете — это лотерея
- Преимущество исчезает при удвоении издержек — значит его и не было
- Хорошо только при одной конкретной настройке — значит подогнали
Все четыре случая у нас встречались. По каждому есть отчёт с числами.
Чего наша проверка не делает
Честно о границах: бэктест на исторических свечах не моделирует стакан, очередь заявок и задержки исполнения. Поэтому мы не берёмся за высокочастотные идеи и маркет-мейкинг — для них наша методика недостаточна, и мы прямо это признаём вместо того, чтобы показывать красивые, но нереализуемые кривые.
Ещё одно ограничение: два года истории для крипты — короткая выборка. Она покрывает ограниченное число рыночных режимов, и мы это учитываем в вердиктах.