Ошибка выжившего в бэктестах крипты: замер на 30 монетах

Бэктест, который начинается в прошлом, но берёт список монет из сегодняшнего дня, уже знает развязку: монет, которые рухнули и были делистнуты, в нём нет, а монеты, которые выросли в крупные, есть. Это ошибка выжившего — одна из ловушек из статьи что такое бэктестинг. Здесь она измерена: одна и та же стратегия «купить и держать» на двух списках монет за одни и те же пять лет и девять месяцев.

Два списка монет

• Список 2021 года — то, что можно было купить. 30 бессрочных фьючерсов Binance USDT-M с наибольшим оборотом за 30 дней до 2021-01-01, отобранные платформой на эту дату (опция «Взять символы на дату в прошлом» в форме нового бэктеста), вместе с делистнутыми. Шесть из 30 с тех пор делистнуты: EOS, WAVES, YFII, MKR, SXP и OMG.
• Сегодняшний список — то, что видит бэктест, собранный сегодня. Все бессрочные фьючерсы, которые уже торговались 2021-01-01 и которые платформа в октябре 2026 года по-прежнему обновляет. Их ровно 30: 24 выживших из списка 2021 года плюс SOL, DOGE, NEAR, AXS, ATOM и RUNE — монеты, которые в 2021 году можно было купить, но которые не входили в 30 самых торгуемых.

Почему 30, а не привычные 20: из топ-20 2021 года делистнута всего одна монета (EOS) — слишком мало, чтобы что-то измерить, а 30 — максимум, который платформа берёт в набор символов на прошлую дату. Чем шире сеть, тем больше в ней мёртвых монет: из 78 бессрочных фьючерсов USDT-M, торговавшихся 2021-01-01, по реестру символов платформы с тех пор делистнуто 22 — 6 из топ-30 и 16 из остальных 48.

Тест: одна покупка на 95% счёта в 10,000 USDT по открытию второго 4-часового бара 2021 года и удержание до 2026-10-01 или до последнего бара перед делистингом. Бессрочные фьючерсы с плечом 1x, изолированная маржа, комиссия 0.05% и проскальзывание 0.05% на сторону, фандинг выключен, чтобы запуск повторял цену монеты так, как её видит держатель спота: делистнутые монеты есть на платформе только как фьючерсы (почему фандинг выключен — во врезке ниже). Одна стратегия, ничего не подбиралось.

Средняя доходность по списку — это ещё и результат, если в первый день разделить деньги поровну между его монетами, поэтому среднее ниже читается как «равновзвешенная корзина без ребалансировки».

Результат

Одна и та же стратегия за одно и то же время выглядит совсем по-разному в зависимости от списка. На монетах, которые можно было выбрать, типичная монета потеряла четверть стоимости, а равновзвешенная корзина заработала меньше, чем один биткоин. На сегодняшнем списке типичная монета в плюсе, а корзина заработала в три с половиной с лишним раза больше, чем на списке 2021 года.

Бэктест

Buy & hold 1x perp, funding off — survivorship study

BTCUSDT · 4h · Фьючерсы · 2021-01-01 → 2026-10-01

Доходность

+176.08%

Макс. просадка

75.42%

Шарп

0.60

Доля прибыльных

100.0%

Сделки

1

Открыть отчёт →

Откуда разница

Если выбросить мёртвые монеты, медиана из убытка становится прибылью. Одно удаление шести делистнутых монет поднимает медиану с -24.92% до +6.25%, а среднее — с +117.04% до +151.95%. Четыре из шести были в убытке, их медиана — -71.44%.

Остальное делает пополнение списка сегодняшними победителями. Шесть монет, которые добавляет сегодняшний список, по сути отобраны тем, что случилось после 2021 года: SOL принёс +6,971.27%, DOGE — +1,725.20%. Даже без своей лучшей монеты сегодняшний список даёт в среднем +194.22%, а список 2021 года без своей лучшей, BNB, — +58.03%.

Бэктест

Buy & hold 1x perp, funding off — survivorship study

SOLUSDT · 4h · Фьючерсы · 2021-01-01 → 2026-10-01

Доходность

+6,971.27%

Макс. просадка

96.57%

Шарп

1.20

Доля прибыльных

100.0%

Сделки

1

Открыть отчёт →

Бэктест

Buy & hold 1x perp, funding off — survivorship study

BNBUSDT · 4h · Фьючерсы · 2021-01-01 → 2026-10-01

Доходность

+1,828.21%

Макс. просадка

72.28%

Шарп

1.03

Доля прибыльных

100.0%

Сделки

1

Открыть отчёт →

Бэктест

Buy & hold 1x perp, funding off — survivorship study

DOGEUSDT · 4h · Фьючерсы · 2021-01-01 → 2026-10-01

Доходность

+1,725.20%

Макс. просадка

92.93%

Шарп

0.78

Доля прибыльных

100.0%

Сделки

1

Открыть отчёт →

Чем кончается запуск на делистнутой монете

Бэктест не может держать монету, которая больше не торгуется. На платформе запуск на делистнутом фьючерсе кончается последним баром архива, и позиция закрывается там по рынку как конец данных — по той цене, что у монеты осталась. Шесть делистнутых запусков закончились между 2022-04-12 (YFII) и 2025-12-05 (SXP).

Делистинг не всегда означает ноль: MKR закончил с +167.10%, YFII — с +11.21%. Токен может уйти с биржи, потому что его меняют на новый, или просто из-за слабых торгов, а бэктест фиксирует только цену на выходе, а не то, что держатель сделал дальше.

Бэктест

Buy & hold 1x perp, funding off — survivorship study

OMGUSDT · 4h · Фьючерсы · 2021-01-01 → 2026-10-01

Доходность

-84.19%

Макс. просадка

98.38%

Шарп

0.14

Доля прибыльных

0.0%

Сделки

1

Открыть отчёт →

Бэктест

Buy & hold 1x perp, funding off — survivorship study

WAVESUSDT · 4h · Фьючерсы · 2021-01-01 → 2026-10-01

Доходность

-74.60%

Макс. просадка

97.32%

Шарп

0.30

Доля прибыльных

0.0%

Сделки

1

Открыть отчёт →

Бэктест

Buy & hold 1x perp, funding off — survivorship study

MKRUSDT · 4h · Фьючерсы · 2021-01-01 → 2026-10-01

Доходность

+167.10%

Макс. просадка

91.12%

Шарп

0.70

Доля прибыльных

100.0%

Сделки

1

Открыть отчёт →

Выжить — не значит вырасти

Худший запуск обоих списков — у выжившей монеты: SNX, которая торгуется до сих пор, -91.95%. Из восьми монет списка 2021 года, потерявших 80% и больше, делистнуты только две — FIL, GRT, THETA, DOT, COMP и SNX по-прежнему торгуются и входят и в сегодняшний список. Все 36 запусков, биткоин в том числе, в какой-то момент падали больше чем на 70% от пика.

Бэктест

Buy & hold 1x perp, funding off — survivorship study

SNXUSDT · 4h · Фьючерсы · 2021-01-01 → 2026-10-01

Доходность

-91.95%

Макс. просадка

97.95%

Шарп

0.07

Доля прибыльных

0.0%

Сделки

1

Открыть отчёт →

Все 36 монет

Доходности со ссылкой — сохранённые запуски. Остальные — та же стратегия с теми же настройками, перезапущенная на платформе без сохранения; восемь сохранённых запусков совпадают с этими перезапусками до цента. Дата у делистнутой монеты — её последний бар. Медианы, средние и подсчёты в статье посчитаны по этим 36 доходностям.

Вывод

• На списке монет, взятом из сегодняшнего дня, «купить и держать» с 2021 года показывает медиану +29.61% и среднее по равновзвешенной корзине +420.12%. На списке, существовавшем 2021-01-01, тот же тест показывает -24.92% и +117.04%.
• Больше половины разрыва в медиане даёт исключение шести делистнутых монет; основную часть разрыва в среднем — добавление монет, которые в список ставит только знание будущего, прежде всего SOL и DOGE.
• Выжившие тоже проваливаются: худший запуск исследования, SNX с -91.95%, — монета, которая по-прежнему торгуется.

Чтобы тестировать без этой ошибки, собирайте список на дату начала бэктеста — это делает опция «Взять символы на дату в прошлом», — как в исследовании золотого креста на топ-20 2021 года. Подробнее о том, как собрать тест: как протестировать криптостратегию.