В четверг днем по сети расходится скриншот. На нем график биткоина, красная стрелка, проведенная вниз от локального максимума, и подпись: «наша модель предсказала это падение». Изображение настоящее. Падение реальное. Чего не хватает — единственной вещи, которая сделала бы это утверждение хоть сколько-нибудь значимым: доказательства, что стрелка появилась до того, как свеча отрисовалась.

Этот пробел — вся тема данной статьи. Не то, может ли ИИ сказать что-то полезное о цене биткоина — может, — а то, какие части практики выдерживают проверку публичной табло, а какие существуют лишь потому, что никто не перепроверяет.

Что на самом деле утверждает прогноз цены Биткоина

«Биткоин достигнет определённого уровня» — это не одно утверждение. Это три, склеенные вместе, и обычно их оставляют невысказанными.

Первое — это направление. Второе — величина. Третье, почти всегда опускаемое, — это горизонт: когда именно, и относительно какой опорной цены, на какой площадке, с использованием какого соглашения о временной метке. Уберите горизонт — и утверждение становится нефальсифицируемым: каждый вызов в итоге окажется верным, если никогда не скажете, когда.

Прогноз, который можно оценить (scored), должен заранее зафиксировать все три вещи. «Вероятность того, что BTC закроется выше указанного уровня в указанную UTC-минуту, со ссылкой на указанный индекс» — это проверяемое утверждение. «BTC растёт» — это настроение.

Этот нюанс важнее для Биткоина, чем для большинства активов, потому что Биткоин торгуется непрерывно на разных площадках, без закрывающего колокола, который бы закреплял сам вопрос. Если опорная величина оставлена расплывчатой, человек, который оценивает прогноз, может выбрать тик, который им подходит. Указание опорного уровня — не педантичность. Это то, что делает запись устойчивой к противодействию (adversarial-proof).

Что ИИ реально умеет лучше всего на Биткоине

Уберите стрелки — и тут есть реальная работа. Машинное обучение делает на данных по крипто что-то такое, чего человек-аналитик не может сделать ни с той же скоростью, ни в том же масштабе.

Выявление режимов. Рынки не имеют одного поведения — у них есть несколько, и они переключаются. Период низкой реализованной волатильности с узкими, склонными возвращаться к среднему диапазонами ведёт себя совсем не так, как восходящий тренд с высокой волатильностью, который разворачивается в ликвидациях. Скрытые марковские модели, кластеризация по скользящим окнам признаков и модели последовательностей реально полезны для маркировки того, на какой режим похож текущий «тейт» (лента). Эта метка не говорит вам следующую цену. Она говорит, какое распределение следующих цен является правдоподобным — гораздо более слабое утверждение и гораздо более честное.

Оценка волатильности. Это самое защищённое применение во всей области. Волатильность устойчива в том смысле, в каком доходности неустойчивы: спокойные периоды группируются, а бурные — тоже. Модели, которые потребляют реализованную волатильность, подразумеваемые кривые, ставки финансирования и открытый интерес, могут выдавать полезные диапазоны на будущее. Прогнозировать, насколько ширим распределение будет в следующий раз, — другая и гораздо более поддающаяся задаче проблема, чем прогнозировать, где именно окажется его центр.

Чтение потока ордеров. Дисбаланс в книге заявок, автокорреляция знака сделок, глубина, которая появляется и исчезает вокруг круглых чисел, темп ликвидаций — это измеримо, и это несёт информацию о коротком горизонте. Информация быстро затухает, часто за секунды или минуты, и её агрессивно «выдавливают» конкурирующие участники. Но она существует, и машины читают её лучше, чем люди.

Данные on-chain. Биткоин необычен тем, что это публичный реестр. Распределения «возраста монет» (coin-age), приток и отток на биржах, балансы майнеров, доля предложения, которое не двигалось годами — это структурные особенности, которых не получает ни один аналитик по акциям. Это медленные сигналы, лучше подходящие для описания состава держателей, чем для тайминга чего-либо. Если относиться к ним как к контексту — они ценны. Если относиться к ним как к триггерам — они чаще всего генерируют ложные тревоги.

Переваривание новостей в масштабе. Языковые модели могут прочитать каждую заявку, каждое регуляторное уведомление, анонс биржи и изменение протокола — за то время, за которое человеку удаётся прочитать одно, и могут превратить этот поток в структурированные признаки: что произошло, кому именно, и насколько это необычно относительно базовой частоты. Это настоящая «рычаговая» сила на входе прогноза.

Посмотрите, что общего у каждого пункта в том списке. Все они улучшают описание неопределённости. Ни один из них не выдаёт цену.

Чего ИИ не может сделать ни при каких обстоятельствах — сколь бы ни был велик размер модели

Он не может сказать вам цену Биткоина в следующий вторник.

Не потому что модели слишком маленькие, или данных слишком мало, или признаки ещё недостаточно умные. Потому что цену задаёт ликвидный, враждебный (adversarial) рынок, где каждый участник с работающим прогнозом уже торгует на основе этого прогноза. Всё, что можно узнать и что прибыльно, непрерывно встраивается людьми с капиталом, преимуществами по задержке и собственными моделями. Ни один метод надёжно не обгоняет ликвидный рынок — и любой, кто обещает обратное, продаёт вам что-то.

То, что остаётся после этого, всё ещё стоит иметь: лучше откалиброванную неопределённость, более быстрое распознавание того, в каком состоянии находится рынок, дисциплинированные оценки того, насколько широким может быть следующий шаг. Это реальные вклад. Это не прогнозы цен, и любая система, которая пытается преподнести их как прогнозы цен, перешла грань от прогнозирования к выступлению (performance).

Театр легко распознать, как только вы узнаете форму. Точечные прогнозы без интервала. Горизонты, которые сдвигаются постфактум. Выбранные примеры без знаменателя. Уверенность, которая никогда не меняется в зависимости от сложности вопроса. Послужной список, состоящий целиком из тех случаев, которые сработали.

Калиброванное лучше уверенного: доводы за вероятности

Альтернатива уверенной цифре — не хедж. Это вероятность, которую проверили.

Прогнозист, который говорит «70 процентов», должен быть прав примерно в 70 процентах случаев во всех ситуациях, где он говорил 70 процентов. Это калибровка — и её можно измерить, но только по полной серии, включая все прогнозы, которые закончились плохо. Одна предсказанная цифра вам ничего не говорит. Сто — записанные заранее — говорят очень много.

Правильные правила скоринга (proper scoring rules) — это способ, как делается измерение. Показатель Брайера (Brier score) и лог-лосс разделяют свойство, из-за которого ими трудно «жульничать»: оба минимизируются, если сообщать свою истинную убеждённость. Чрезмерное завышение уверенности наказывается сильнее, чем ошибиться при должной неопределённости. Прогнозист, который говорит 95 процентов и ошибается, получает гораздо худший результат, чем тот, кто сказал 60 процентов и ошибся. При правильном скоринговом правиле бравада — это издержка, а не маркетинговый актив.

Вот почему вероятностный вывод — это не более слабый продукт, чем таргет по цене. Это единственный вывод, который вообще можно оценить (проставить оценку).

Почему бэктест — это не доказательство

У каждой модели есть хороший бэктест. Вот для чего нужен бэктест.

Исторические данные фиксированы и конечны, а исследователь — человек, который их уже видел. Выборы накапливаются тихо: какое окно, какие признаки, какая нормализация, какие исключения для «аномальных» периодов, сколько вариантов было перепробовано, прежде чем нашли чистый. Даже при полной добросовестности процесс описывает прошлое — а прошлое — это тот датасет, который гарантированно больше никогда не повторится.

Крипто это усиливает. Микроструктура рынка менялась снова и снова по мере того, как менялись площадки, инструменты, кастодианы и участники. Модель, настроенная на предыдущую структурную эпоху, часто проходит проверку на рынке, которого уже больше не существует.

Единственный тест, который не загрязнён, — это out-of-sample в строгом смысле: прогноз делается до того, как известен исход, публикуется до исхода и не может быть пересмотрен потом. Это куда меньшее утверждение, чем бэктест, и оно приходит гораздо медленнее. И это единственный тип, который засчитывается.

Как выглядит «запертый», захэшированный, публично оцененный прогноз по BTC

Вот механизм, по порядку.

Прогноз записывается полностью до события: сам вопрос, опорная цена и площадка, точное время разрешения в UTC, вероятность и рассуждение, которое к этому привело. Ничего не оставлено «подразумеваемым», потому что любое подразумеваемое потом можно переинтерпретировать.

Затем тот документ хэшируется с помощью SHA-256. Хэш — это отпечаток фиксированной длины: измените один символ в прогнозе — и отпечаток изменится полностью. Публикация хэша фиксирует содержимое, не обязательно раскрывая его уже сейчас.

Хэш привязан к блокчейну Биткоина с помощью OpenTimestamps, что доказывает: отпечаток существовал не позже, чем в некотором конкретном блоке. В этом есть приятная симметрия — использовать собственный реестр Биткоина, чтобы проставлять временные метки заявлениям о цене Биткоина: то же свойство, которое делает цепочку полезной как слой расчётов — дорого, публично, трудно переписать — делает её годной и как нотариуса.

Когда наступает время разрешения, исход фиксируется относительно заранее указанной опорной величины и оценивается корректным правилом оценивания. Результат попадает в тот же публичный реестр, что и всё остальное. Не выборка из него. Всё целиком — и те вызовы, которые попали, и те, которые не попали, в одном и том же размере и на одном и том же месте.

Вот где большинство послужных списков тихо рушатся. Реестр с редактором — это брошюра.

Ничто из этого не делает прогноз «верным». Оно делает его проверяемым — и это единственное свойство, которое отделяет метод прогнозирования от скриншота со стрелкой. Модель может быть изощрённой или грубой; именно временная метка позволяет вам узнать, как именно это было.

Обучающий контент — не финансовый совет.

Впервые опубликовано на neuportal.ai/blog/how-ai-forecasts-the-bitcoin-price