Как пошагово провести бэктест криптовалютной стратегии
Бэктест — это контролируемый исторический эксперимент. Его ценность заключается не в конечном доходе, а в дисциплине, которую он навязывает: фиксированные правила, известные входные данные, реалистичные предположения, видимые виды неудач и решение, которое можно воспроизвести, не запоминая, какие настройки создали привлекательную кривую.
Сформулируйте вопрос до выбора данных
До открытия отчёта зафиксируйте гипотезу, рынок, направление, таймфрейм, правила входа и выхода, способ расчёта размера позиции и ограничения риска. Сразу укажите ориентир для сравнения и условие, при котором идею следует отклонить. Так результат не сможет задним числом определить собственные критерии успеха.[1][5]
Пишите спецификацию так, чтобы другой человек мог повторить тест без дополнительных объяснений. Вопрос «прибылен ли этот индикатор?» слишком расплывчат. Лучше спросить: превосходит ли фиксированный набор правил выбранный ориентир после реалистичных издержек и остаётся ли просадка ниже заранее установленного предела? Зафиксируйте все решения, принятые до запуска, включая выбор торговых пар и периода. Если после просмотра результата вы меняете критерий успеха, считайте это новым экспериментом и сохраните исходное решение.
Определите и единицу анализа. Стратегия может выглядеть устойчивой по закрытым сделкам, но принимать чрезмерный риск внутри позиции. Большое число сделок тоже не означает диверсификацию, если все они зависят от одного рыночного фактора. Решите заранее, на каком уровне оценивается результат: отдельный инструмент, портфель, месяц, рыночный режим или счёт целиком. От этого зависит, какие вопросы о концентрации и просадке должен раскрывать отчёт.
| Параметр | Пример | Зачем фиксировать |
|---|---|---|
| Набор инструментов | Фьючерсы BTCUSDT и ETHUSDT | Не позволяет добавить только успешные пары после теста |
| Период | 01.01.2023–31.12.2025 | Позволяет проверить охват разных рыночных режимов |
| Риск | Начальная позиция 1%, стоп 8%, предел просадки 15% | Отделяет доходность от способности пережить убытки |
| Ориентир | Покупка и удержание плюс вариант без сигналов | Показывает, приносит ли усложнение дополнительную ценность |
Выберите данные, соответствующие будущему решению
Используйте тот же тип рынка и те же инструменты, на которых собираетесь работать. Период должен включать разные режимы тренда и волатильности, а при необходимости — делистинги и пробелы в данных. Для каждого индикатора оставьте достаточную историю для прогрева. Длинный календарный период сам по себе не даёт разнообразия, если все сделки пришлись на один короткий рыночный режим.
Разделите историю на данные для разработки и данные для независимой проверки. На первой части можно формулировать и отлаживать гипотезу; вторая не должна влиять на выбор правил. Если контрольная проверка провалилась и вы изменили порог, эти данные уже повлияли на стратегию и больше не считаются нетронутыми. Оставьте дополнительный резервный период либо начните собирать наблюдения в режиме Paper, вместо того чтобы снова подгонять правила под ту же историю.
Полнота данных — это не только количество свечей. Проверьте, существовал ли инструмент в выбранный период, хватало ли ликвидности для предполагаемого объёма, не менялась ли спецификация контракта и доступны ли необходимые ряды финансирования или открытого интереса. Явно записывайте исключения. Нулевое значение может быть корректным наблюдением, а отсутствие значения означает неопределённость и должно быть отмечено в ограничениях.
- Проверьте часовой пояс свечи, границы интервалов, отсутствующие бары и сопоставление инструментов.
- Оставьте период внутри выборки для проектирования и нетронутый период вне выборки для подтверждения.
- Не позволяйте индикаторам читать свечи или снимки рынка, которые были недоступны на момент оценки.
- Записывайте предупреждения, когда финансирование, открытый интерес, внешние сигналы или охват вселенной являются неполными.
Смоделируйте исполнение до расчёта результатов
Определите момент, когда сигнал действительно становится известен, и цену, по которой заявка могла быть исполнена после этого момента. Максимум и минимум свечи показывают диапазон, но не порядок событий внутри неё. Учтите вход и выход, спред, комиссии мейкера или тейкера, неблагоприятное проскальзывание, финансирование фьючерсов и ограничения ликвидации.[1][4]
Постройте временную шкалу для одной типичной сделки. Отметьте свечу, после закрытия которой появился сигнал, первое время его расчёта ботом, момент отправки заявки и первую цену, которую модель вправе использовать для исполнения. Повторите проверку для стоп-лосса, тейк-профита, трейлинг-условий, добавлений по сетке, частичных выходов и принудительного закрытия. Такой разбор часто выявляет исполнение на той же свече и слишком выгодный порядок событий до того, как ошибка исказит тысячи сделок.
Важно учитывать назначение заявки. Рыночная заявка обычно забирает ликвидность и не гарантирует цену. Лимитная заявка в книге запрашивает конкретную цену, но может не исполниться или исполниться частично. Нельзя одновременно назначить ей комиссию мейкера и гарантировать немедленное полное исполнение. Если данных недостаточно для моделирования очереди и глубины книги, выберите консервативное правило, опишите его и проверьте результат при задержанных и пропущенных исполнениях.
чистый PnL = валовой торговый PnL − комиссии входа − комиссии выхода − издержки проскальзывания + результат финансированияПоказывайте составляющие отдельно. При высоком обороте положительный валовой результат может исчезнуть, а финансирование бывает как поступлением, так и расходом — в зависимости от направления позиции и времени расчёта.
Анализируйте траекторию и распределение, а не одну цифру доходности
Изучите максимальную просадку, число сделок, профит-фактор, долю прибыльных сделок, среднее время удержания и серии убытков. Проверьте, не создана ли основная часть результата одной сделкой или одним инструментом. Сравните валовой и чистый PnL. Небольшая выборка с впечатляющей доходностью даёт меньше оснований для вывода, чем умеренный результат, повторившийся на независимых периодах.
Любой коэффициент нужно читать вместе с его числителем, знаменателем и размером выборки. Высокая доля прибыльных сделок может сочетаться с редкими убытками, которые перекрывают всю предыдущую прибыль. Профит-фактор нестабилен при малом числе сделок и может зависеть от одного выброса. Годовая доходность способна превратить короткий удачный период в обманчивую долгосрочную цифру. Поэтому рядом с коэффициентами показывайте число сделок, длительность наблюдения, время в позиции и абсолютные суммы.
Изменения кривой капитала должны объясняться конкретными событиями. Найдите пик и минимум максимальной просадки, самый долгий период ниже предыдущего максимума, крупнейший кластер издержек, а также самые прибыльные и убыточные сделки. Затем откройте соответствующие строки журнала и проверьте сигнал, размер, предполагаемую цену исполнения и причину выхода. Если существенное изменение нельзя связать с понятным событием, сначала разберитесь с данными или расчётом.
- Откройте кривую капитала и определите каждый большой скачок или длительное восстановление.
- Проследите эти движения по отдельным сделкам и причинам их выхода.
- Отдельные комиссии, финансирование и торговля PnL вместо объяснения только общей суммы.
- Сравнивайте результаты по периодам, инструментам и рыночным режимам, а не только в совокупности.
- Записывайте аномалии и предупреждения, прежде чем принимать решение о том, пройден ли тест.
Проверьте стратегию на данных, не использованных при разработке
Оставьте контрольную выборку, сдвиньте начало и конец периода, ухудшите комиссии и проскальзывание, немного измените ключевые параметры. Устойчивое правило обычно теряет качество постепенно. Если один небольшой шаг параметра полностью уничтожает результат, найденное преимущество может быть случайностью конкретного исторического отрезка.[5][6]
Выберите проверки устойчивости до того, как узнаете, какие из них стратегия выдержит. Меняйте параметры в обе стороны, сдвигайте границы периода, делите данные по тренду и волатильности, исключайте лучший инструмент и крупнейшую сделку. Цель не в том, чтобы каждый отрезок оказался прибыльным, а в том, чтобы понять, где гипотеза работает, где перестаёт работать и имеют ли эти границы экономическое объяснение.
Сохраняйте и отклонённые варианты. Если скрыть неудачные попытки, итоговая конфигурация будет казаться независимее, чем она есть, а те же идеи позже могут быть проверены повторно. Короткая таблица изменений, причин и результатов показывает реальный объём поиска. Чем больше вариантов было просмотрено, тем сильнее должно быть независимое подтверждение.
| Проверка | Вопрос | Тревожный признак |
|---|---|---|
| Контрольная выборка | Работает ли зафиксированное правило на более поздних данных? | Положительный результат есть только на данных разработки |
| Стресс издержек | Сохраняется ли преимущество при более высоких издержках? | Небольшое ухудшение делает чистый PnL отрицательным |
| Изменение параметров | Похожи ли результаты соседних значений? | Вся прибыль сосредоточена в одной точке |
| Разбивка по режимам | В каких условиях стратегия не работает? | Вся прибыль получена в одном трендовом периоде |
Завершите исследование письменным решением и следующим ограниченным тестом
До любых новых изменений выберите одно решение: отклонить, пересмотреть или перейти к следующему этапу. Отклонение — нормальный и полезный результат исследования, если предположения не подтвердились. Пересмотр допустим только по конкретной выявленной причине. Переход дальше означает проверку той же конфигурации в Paper или тестовой среде биржи, а не немедленный запуск с реальным капиталом.
Записка о решении должна быть короткой, но конкретной: какие заранее заданные критерии выполнены, какие ограничения остаются существенными, что противоречит гипотезе и на какой вопрос ответит следующий этап. При пересмотре меняйте только то, что связано с выявленной причиной. При переходе сохраните идентификатор конфигурации, предел риска, ожидаемую частоту сигналов и допустимые расхождения, чтобы корректно сравнить Paper или тестовую среду с исторической моделью.
Заранее задайте причины для повторной проверки. Изменение правил биржи, предупреждение о пробелах в данных, правка стратегии, устойчивое расхождение между смоделированными и наблюдаемыми исполнениями или новый рыночный режим делают прежние выводы менее надёжными. Валидация — это цикл с понятными условиями возврата на предыдущий этап, а не одноразовое одобрение бота.
Проведите один воспроизводимый бэктест
Заполните исследовательскую запись до просмотра итогового PnL, а затем последовательно проверьте каждый этап.
- Зафиксируйте гипотезу, полную конфигурацию, набор инструментов, точные даты, начальный баланс, ориентир и условие отклонения.
- Запустите тест с явными издержками и сохраните предупреждения, показатели, кривую капитала и журнал сделок.
- Объясните три крупнейшие прибыльные и убыточные сделки и определите, что формирует чистый PnL.
- Повторите тест на нетронутых данных и при менее выгодных издержках, не меняя правила.
- Запишите решение «отклонить», «пересмотреть» или «перейти дальше» и укажите, какие данные нужны для следующего решения.
Данные для воспроизводимости исследования
Храните эти входные данные и результаты вместе, чтобы другой специалист мог воспроизвести запуск.
- Версия конфигурации, биржа, тип рынка, инструменты, направление, таймфрейм и точные даты.
- Полнота данных, период прогрева индикаторов, предупреждения о пропусках и режим исполнения.
- Начальный баланс, размер позиции, плечо, комиссии, проскальзывание, финансирование и модель ликвидации.
- Валовой и чистый PnL, просадка, число и распределение сделок, ориентир и существенные предупреждения.
- Результат на контрольной выборке, стресс-тесты, отклонённые варианты и итоговое решение по этапу.
Чего не воспроизводит даже аккуратный бэктест
Исторические свечи и снимки книги заявок не позволяют полностью восстановить будущую глубину рынка, место заявки в очереди, задержку, частичное исполнение, отклонение заявок, сбои биржи, изменение правил инструментов или будущие ставки финансирования. Бэктест показывает, как фиксированное правило работало на известных исторических данных. Это не прогноз, не гарантия и не основание увеличивать риск без проверки в Paper, тестовой среде и затем на малом реальном объёме. На выводы также влияют решения исследователя: состав инструментов, период, ориентир, параметры и момент остановки поиска. Сохраняйте эти решения и относитесь к будущим расхождениям как к новой информации.
Источники и дополнительное чтение
Поведение продукта сверено с документацией и кодом SteadyEdge, а изменчивые сведения о биржах и платформах ведут на актуальные официальные источники.
- Как SteadyEdge оценивает стратегииSteadyEdge
- Запуск ретроспективной проверкиСправочный центр SteadyEdge
- Как читать отчёт о ретроспективной проверкеСправочный центр SteadyEdge
- Почему результаты реальной торговли и ретроспективной проверки различаютсяСправочный центр SteadyEdge
- Как переобучение при ретроспективной проверке в финансах приводит к ложным открытиямSignificance / Oxford Academic
- Глубокое обучение с подкреплением для торговли криптоактивами: практический подход к устранению переобучения при ретроспективной проверкеarXiv
Разберите полный отчёт до усложнения стратегии
Откройте публичную демо-версию и потренируйтесь читать настройки, издержки, просадку, предупреждения и отдельные сделки. Затем проведите такой же разбор для своей простейшей сохранённой стратегии.