Метрики бэктеста: что они значат

Читайте метрики группами, а не по одной

Любую метрику по отдельности можно сделать красивой. Стратегия с 90% прибыльных сделок может терять деньги; стратегия с огромной доходностью могла по дороге потерять половину счёта. Читайте четыре группы вместе:

Доходность

ВопросЗаработала ли — и больше ли, чем удержание?

Основные метрикиИтоговая доходность, CAGR, удержание (buy & hold), альфа

Риск

ВопросНасколько было больно по дороге?

Основные метрикиМаксимальная просадка, самая долгая просадка, индекс язвы (Ulcer index)

С поправкой на риск

ВопросСтоила ли доходность пережитого?

Основные метрикиШарп, Сортино, Калмар

Сделки и доказательства

ВопросКак стратегия зарабатывает и насколько можно быть уверенным?

Основные метрикиДоля прибыльных, отношение выигрыша к проигрышу, профит-фактор, матожидание, число сделок

Доходность: итоговая, CAGR и удержание

• Итоговая доходность — прибыль или убыток на начальный капитал за весь прогон, после комиссий, проскальзывания и фандинга.
• CAGR — среднегодовой темп роста с учётом сложного процента: годовая доходность, которая дала бы тот же итог. Нужна, чтобы сравнивать прогоны разной длины.
• Удержание (buy & hold) — сколько дало бы простое удержание монеты в том же окне. Это эталон, который стратегия обязана обогнать.
• Альфа — итоговая доходность минус удержание. Отрицательная альфа значит, что удержание было бы лучше.

В крипте удержание — требовательный эталон: в 2020–2025 годах большинство крупных монет выросли в разы. Стратегия, которая «сделала +300%», пока монета сделала +800%, ничего не добавила — если только не сделала это с намного меньшей просадкой.

Риск: максимальная просадка и её длительность

• Максимальная просадка — самое глубокое падение капитала от предыдущего пика, в процентах. После просадки 50% нужно +100%, чтобы только вернуться.
• Самая долгая просадка — самый длинный отрезок от пика до момента, когда он снова превзойдён. Глубина — один вид боли, два года под водой — другой.
• Индекс язвы (Ulcer index) — среднеквадратичное значение ряда просадок: наказывает просадки, которые одновременно глубокие и долгие.

Отчёт считает максимальную просадку до 10% неглубокой, 10–25% — умеренной, 25–40% — глубокой и от 40% — тяжёлой. Это оценка боли, а не стратегии: плечо и размер позиции двигают просадку напрямую.

Шарп, Сортино и Калмар: доходность на единицу риска

• Коэффициент Шарпа — средняя дневная доходность, делённая на стандартное отклонение дневных доходностей и приведённая к году через √365, потому что крипта торгуется каждый день. Безрисковая ставка в Janorium не вычитается.
• Коэффициент Сортино — то же самое, но учитывается только волатильность вниз, так что стратегию не штрафуют за сильные дни роста.
• Коэффициент Калмара — CAGR, делённый на максимальную просадку: годовая доходность на единицу худшей боли.

Шарп

Убыточнониже 0

Слабоот 0 до 1

Хорошоот 1 до 2

Сильно2 и выше

Сортино

Убыточнониже 0

Слабоот 0 до 1,5

Хорошоот 1,5 до 3

Сильно3 и выше

Калмар

Убыточнониже 0

Слабоот 0 до 0,5

Хорошоот 0,5 до 1

Сильно1 и выше

Доля прибыльных, отношение выигрыша к проигрышу, профит-фактор и матожидание

• Доля прибыльных сделок (win rate) — какая часть сделок закрылась с прибылью.
• Отношение выигрыша к проигрышу (payoff ratio) — средняя прибыльная сделка, делённая на среднюю убыточную.
• Профит-фактор — валовая прибыль, делённая на валовый убыток. Выше 1 — прибыльные сделки перевешивают убыточные.
• Матожидание — средняя прибыль или убыток на сделку: доля прибыльных × средний выигрыш + доля убыточных × средний проигрыш.

Доля прибыльных сделок сама по себе ничего не значит. Безубыточная доля равна 1 / (1 + отношение выигрыша к проигрышу): если прибыльные сделки вдвое больше убыточных, безубыточность наступает уже при одной прибыльной сделке из трёх, а стратегия, которая выигрывает в 60% случаев, но выигрыши втрое меньше проигрышей, теряет деньги. У трендовых стратегий обычно низкая доля прибыльных и крупные выигрыши, у стратегий возврата к среднему — наоборот.

Профит-фактор

Слабониже 1 убыточно, от 1 до 1,3 на грани

Хорошоот 1,3 до 1,8

Сильно1,8 и выше

Отношение выигрыша к проигрышу

Слабониже 1 мелкие прибыли, от 1 до 1,5 сбалансировано

Хорошоот 1,5 до 2

Сильно2 и выше

Сколько доказательств: сделки, периоды, монеты

• Число сделок. Каждое отношение выше — среднее, а среднее по дюжине сделок — шум. Ищите десятки и сотни.
• Несколько периодов. Проверьте бычьи, медвежьи и боковые отрезки — отчёт разбивает результат по режимам рынка.
• Несколько монет. Правило, которое работает на одной монете и проваливается на соседних, скорее всего нашло историю этой монеты, а не закономерность.
• Форма и масштаб. Удвоение каждой позиции удваивает доходность и просадку, но не меняет Шарп, Сортино и профит-фактор. Стратегию судите по метрикам формы, размер ставки — по метрикам масштаба: плечо никогда не делает стратегию лучше.

Настоящий отчёт, где метрики противоречат друг другу

Прогон по BTC из исследования золотого креста: держать BTC на споте Binance, пока дневная SMA(50) выше SMA(200), 2020-01-01 → 2026-01-01, с комиссиями и проскальзыванием.

Итоговая доходность

Значение+529.12%

Оценка отчёта—

Что это значит на самом делеЗаработала…

Удержание

Значение+859.56%

Оценка отчёта—

Что это значит на самом деле…но удержание дало больше: альфа −330.45 пункта.

CAGR

Значение40.08%

Оценка отчёта—

Что это значит на самом делеСильно само по себе, слабо рядом с эталоном.

Максимальная просадка

Значение57.11%

Оценка отчётатяжёлая

Что это значит на самом делеВ худший момент потеряно больше половины счёта, и прогон закончился ниже пика.

Шарп · Сортино

Значение0.96 · 1.48

Оценка отчётаслабо · слабо

Что это значит на самом делеМало доходности на единицу волатильности.

Калмар

Значение0.70

Оценка отчётахорошо

Что это значит на самом делеПриличная доходность на единицу просадки.

Профит-фактор

Значение4.95

Оценка отчётасильно

Что это значит на самом делеВыглядит превосходно…

Доля прибыльных · выигрыш/проигрыш

Значение66.67% · 2.48

Оценка отчёта— · сильно

Что это значит на самом деле…на всего шести сделках.

Сделки

Значение6

Оценка отчёта—

Что это значит на самом делеДоказательств не хватает ни для одной из метрик сделок выше.

Сам по себе профит-фактор говорит «отличная стратегия». Вместе метрики говорят: проиграла удержанию, глубокая просадка, горстка сделок. Поэтому исследование дальше проверило 19 монет вместо одной — и выяснило, что правило обогнало удержание только на 3 из 12 выросших.

Шпаргалка: вопросы к любому бэктесту

1. Обогнала ли стратегия удержание — или хотя бы сравнялась с ним при намного меньшей просадке?
2. Продолжил бы я её запускать во время максимальной и самой долгой просадки?
3. Правдоподобен ли Шарп для того числа сделок, что за ним стоит?
4. Дают ли доля прибыльных и отношение выигрыша к проигрышу вместе профит-фактор уверенно выше 1?
5. Хватает ли сделок, монет и периодов, чтобы назвать это доказательством?
6. Выживает ли результат при удвоенных издержках и другой дате старта?

Чтобы запустить свой бэктест и получить все эти цифры, следуйте руководству как сделать бэктест криптостратегии. Общая картина — что такое бэктест и где он вводит в заблуждение — в руководстве что такое бэктестинг.

Частые вопросы