今週、$QUBIC保有者はみな「正解率67%」と口にするでしょう。

そのうち、何について正解だったのか説明できる人はほとんどいません。このギャップこそ、どちらの方向にも人がだまされる原因です。

簡単に説明しましょう。

Qubicのマイナーは、1年分のビットコイン価格の毎時の値動きを使ってAIを学習させました。AIは毎時、ひとつの質問に答えます。ビットコインは次の1時間後に上がっているか、下がっているか、それとも判断できないか？

方向を約3回に2回、正しく予測しました。

コイン投げなら、2回に1回です。

一見すると驚異的な数字です。ただし、見出しでは触れられていない落とし穴があります。

AIの評価に使われたのは、学習に使ったのと同じ1年間でした。学期中ずっと同じ試験問題を練習して、67%の得点を取った生徒を想像してください。

練習の成果としては立派ですが、実力の証明ではありません。

しかもAIは「判断できない」と答えられるため、最も難しい時間帯をスキップできます。難しい予測を避ければ、たいていスコアは見栄えよくなります。

本当の試験は、まだ起きていない時間帯を予測するときに始まります。

実運用の結果が出たら、次の2つの数字に注目してください。

学習に使っていない時間帯での正解率。
「判断できない」と答える頻度。

スキップに隠れることなく正解率が明確に50%を上回り続けるなら、その優位性は本物であり、トークンをバーンするというアイデアにも、ようやく売り込める材料ができます。

50%近くまで戻るなら、バックテストの結果は実態以上によく見えていたということです。大勢が気づく前に、それがわかるでしょう。

見出しは約束です。実運用のスコアボードは、その証拠です。