第1回から第6回まで、「クオンツ監査」は当初の想定を超える幅広い研究領域を歩んできました。
出発点は、SNSで広まったビットコインの移動平均線戦略でした。81本のEMAがすべてビットコインを上回るという主張は、十分に目を引く一方で、疑わしくも感じられます。その後、高いシャープレシオをうたうVWAP戦略、オープンソースのバックテストプロジェクト、S&P 500の古典的な移動平均線、国境を越えたETFのモメンタム・ローテーション、さらには200年を超える期間を検証したとされるトレンドフォロー研究にも、次々と取り組んできました。
研究対象は移り変わり、私たちが問いかける問題も徐々に深まってきました。
当初、私たちは美しい利益曲線を再現できるかどうかを知りたいと考えていました。その後、指標の定義、取引記録、実行時間、戦略のバージョンなどを検証し始め、最終的に6番目の論文で学術論文と最新のコード実装を直接比較しました。
全6回の記事を経て、このシリーズの焦点は比較的明確になった。それは、定量的な主張を裏付ける証拠が十分であるかどうか、そして発表された結論がどの程度妥当であるかを検証することである。
本レビューは主に、第一段階から残された判断、経験、および問題点をまとめたものである。
I. 6つの記事、6つの異なる監査問題
001：誇張された収益は必ずしも偽物とは限らない。
最初の監査は、ビットコインの81 EMA戦略に焦点を当てた。
原著者は、特定の歴史的期間において、異なる期間を持つ81種類の移動平均戦略すべてが、ビットコインのバイ・アンド・ホールド戦略を上回るパフォーマンスを示したと主張している。
このような結果から、データやバックテスト手法に疑問が生じる可能性は十分にある。しかし、原著者の条件に従ってテストを再構築したところ、この一連の過去の結果が再現可能であることが確認できた。
観測期間をさらに変更すると、結論も変化し始める。81の移動平均線すべてが市場平均を上回るという現象は、明らかに当初のテスト範囲に依存している。より最近の過去の期間では、実際に買い持ちの方が優れたパフォーマンスを示した。
これは、このシリーズにおける最初の重要な基準を確立するものである。誇張された数字は真実であるかもしれないが、数字が真実であるからといって、そこから導き出されるすべての解釈が妥当であるとは限らない。
001 過去の結果が再現され、結果の適用範囲が明確になった。
002：優れた指標は追跡可能である必要がある。
第2の記事では、BTCのVWAP回帰戦略について解説します。
関連資料では、高いシャープレシオ、年率リターン、そして非常に低い最大ドローダウンが示されており、表面上は魅力的なバックテスト結果のように見えた。
しかし、異なる時期に公開された資料を比較したところ、同じ戦略の指標が大きく変化しており、公開されている情報には十分な明確なパラメータ、テスト間隔、バージョン記録が示されていなかったことが判明しました。さらに、一部の統計項目には説明のつかない論理的な矛盾が見られました。
これらの問題は、元のバックテストが必ずしも間違っていることを証明するには不十分だが、外部の読者が独立した検証を行うことを妨げるには十分である。
002 したがって、戦略が正しいか間違っているかを判断する代わりに、証拠がそれを裏付けている時点で停止します。現在公開されている情報は、この一連のバックテストのパフォーマンスを検証するには不十分です。
この種の問題は、定量的なコンテンツでは非常によく見られる。読者は結果を見ることはできるが、その結果が実際にどのように生成されたのかを確認することはできない。
003: 公共のコードは、公共の場での演奏をサポートしない可能性があります。
第3部では、戦略の実行について掘り下げていきます。
オープンソースのBTCトレンドバックテストプロジェクトが、多数のパラメータの組み合わせ、取引記録、パフォーマンス統計を公開し、そのレポートには印象的なリターンとリスク指標が記載されている。
コードレビューの結果、バッチ処理終了時の会計処理とパフォーマンス計算に問題があることが判明しました。その後のレビューで、プログラムが翌日の最初の4時間足ローソク足の終値情報に基づいて市場参入の判断を下しているにもかかわらず、実際の取引実行には同じローソク足の始値を使用していることが確認されました。これは明らかに先物取引に偏った動作を示しています。
段階的な出金後の証拠金の返還、および取引損益の最終集計にも、口座計算や取引統計に影響を与える実装上の欠陥が存在する。
これらの結果は、当初のパフォーマンス指標の信頼性を直接的に損なうものです。ただし、コードを修正した後の完全な再実行はまだ完了していないため、各エラーが最終収益に及ぼす影響の具体的な方向性と大きさを確認することはできません。
003は、コードの公開は検証の出発点に過ぎないことを示している。取引時間、口座記録、統計指標は互いに一致していなければならない。
また、これは技術的な改訂記録を保管する必要が生じた最初の段階の一つでもあった。
004：古典的な戦略の価値は、伝説的な単純な戦略の価値よりも大きいかもしれない。
4つ目の研究では、S&P500の200日移動平均線を検証する。
これは投資の世界では長年議論されてきた古典的なルールです。このルールをめぐる議論は目新しいものではありません。移動平均線は実際に超過収益を生み出すことができるのか、それとも単に何らかのリスク管理手段を提供するだけなのか、という点です。
独立した試験から得られた結果は、より明確である。
調査対象期間において、200日移動平均線戦略は強気相場での利益を一部犠牲にしたものの、ドローダウンの規模を縮小させた。隣接する期間の移動平均線と比較すると、200日という正確なパラメータを用いることによる顕著かつ安定した独自の利点は見られなかった。
したがって、我々は過去のサンプルにおけるリスク管理価値を認める一方で、パラメータの特異性および将来的な有効性については懐疑的な見方を維持する。
004の功績は、古典的な戦略の実践的な応用を、長年確立されてきた物語から切り離した点にある。
戦略は、人々がそれに割り当てたすべての機能を満たしていなくても、有用なものとなり得る。
005：バックテストとデモ取引では、同じ戦略を使用できなくなる可能性があります。
5つ目の研究では、国境を越えたETFのモメンタム・ローテーションを検証する。
当初のプロジェクトでは、累積利益とシャープレシオが大幅に向上していた。コードレビューの結果、バックテストのリスク管理では、リスク評価にその日の最高値、最安値、終値を使用していたものの、売り注文は始値に基づいて実行されており、タイミングに問題があることが判明した。
しかし、その後、予想に反する結果が現れた。
独立した市場データと独立した実装を用いた探索的実験では、リスク管理の実行を正しい因果関係の時間的順序に合わせて調整することで、実際に戦略のパフォーマンスが向上した。
この結果は、将来の関数を発見したからといって、それが必ずしも収益を増加させるとは限らないことを改めて示している。
しかし、この実験では、原著者が使用した完全なデータと実行環境は使用しておらず、トランザクションごとのアライメントも行っていません。したがって、このような改善が可能であることを示すにとどまり、修正後のオリジナルプロジェクトのパフォーマンスを完全に再現したものとはみなせません。
さらなる調査の結果、バックテストBモードとシミュレーション取引Bモードは、ストップロスルール、トリガー条件、およびリバランス方法に関して矛盾していることが明らかになった。
これは5つ目の、より明確な発見である。すなわち、過去のバックテストによって検証された戦略と、現在シミュレーションされている戦略の間には、大きな違いがあるということだ。
両者が同じ名称を使用していたとしても、過去のSharpe値は、現在の展開バージョンの検証済み性能と直接的にみなすことはできません。
006：論文を複製するには、論文に忠実でなければならない。
6番目の論文は、より古典的な研究（2世紀にわたるトレンドフォロー）を扱っています。
本論文では、長期的な過去データを用いてトレンドフォロー効果を研究する一方、QuantConnectによる最新の商品先物取引の実装では負のシャードが示され、これに基づいてトレンド情報の潜在的な減衰について議論する。
両者は明らかに対立しているようだ。
しかし、公開されているコードを検証した結果、最新の実装では、元の論文の中核となるボラティリティの定義とポジションサイジングの計算式に大幅な変更が加えられていることが判明しました。
この論文では、リスクを測定するために月次の絶対価格変動の指数移動平均を使用していますが、公開されている実装では、平滑化計算の入力として符号付き価格変動を使用しています。また、ポジションサイジングの式も元の論文とは異なります。
したがって、負のシャープレシオが裏付ける結論は再定義する必要がある。
これは、この特定の実装の過去のパフォーマンスを反映することはできますが、元の論文で研究されたトレンド戦略が失敗したことを直接証明するには十分ではありません。
006は、最初のフェーズに重要な監査の側面を追加します。同じ研究名、論文の引用、コードのコメントがあっても、実際に同じモデルが実行されていることを保証するものではありません。
II. 6つの記事を読んだ後、私たちはどのような判断を下しましたか？
これらの事例を振り返ると、徐々に安定していく理解がいくつか見られる。
まず、監査結果は公開しておく必要がある。
001は誇張されたリターンを再現することに成功し、004は古典的な移動平均戦略の過去のリスク管理価値を認め、005の探索的実験はコードのエラーを修正しても必ずしもパフォーマンスが低下するわけではないことを示した。
すべての高収益は疑わしいと仮定したり、誤りの発見を論文の成功の唯一の基準としたりすると、これらの結果は容易に見過ごされてしまう。
研究には、批判的思考力だけでなく、反対意見を認識する能力も必要となる。
その戦略は効果的かもしれないし、部分的に効果的かもしれないし、あるいは入手可能な資料からは判断できないかもしれない。私たちは、こうした結果が自然に生じるのを待つ必要がある。
第二に、異なるレベルの証拠が再現される。
6つの論文のうち、いくつかの結論は独立した歴史的データの計算から導き出されており、いくつかは直接的なコードチェックから導き出されており、いくつかは公開されている資料の検証可能性に基づいてのみ判断できる。
これらの証拠は互換性がない。
著者が報告した利益は、私たちがその利益を再現したことを意味するものではありません。欠陥のあるソースコードでは、修正された収益を自動的に計算することはできません。また、独立したデータを用いた制御された実験は、元のプロジェクトの完全な取引記録を直接置き換えることはできません。
第一段階における重要な教訓は、これらの境界線を明確に定義することを徐々に学んでいくことだった。
結論として正しいと思われる部分をできるだけ詳しく書き出してください。
最終的に、監査範囲は戦略的証拠の連鎖全体にまで拡大された。
当初は主に損益計算結果を検証しました。その後、監査では数式、コード、口座計算、リスク管理、デモ取引の実行状況などを網羅しました。
これは、定量戦略の信頼性を単一のリターン曲線だけで判断することはできないことを示している。
著者の説明から戦略ルール、生データからバックテストコード、そして具体的な取引やパフォーマンス統計に至るまで、重要なリンクのいずれかに問題があれば、最終的な結論が弱まる可能性がある。
たとえ過去の戦略がこれらのチェックを通過したとしても、サンプル外のパフォーマンスや実際の運用を通じて、さらに検証する必要がある。
これは今後の監査でさらに深く掘り下げていくことができる方向性ではあるが、すべての項目が完全な検証作業を担う必要はない。
第三に、第一段階で、私たちは自分たちの欠点も発見しました。
今回の見直しでは、監査対象となったプロジェクトを検証しただけでなく、私たち自身の著作物も再検証しました。
最も典型的な例は003です。
当初の監査では取引会計上の問題点が明らかになったが、その後の確認調査で、より直接的な入力前の偏りが判明した。これは、記事が完成した後でも、既存の判断を永久に確定させることはできないことを示している。新たな証拠によって当初の分析を変更する必要が生じた場合は、再調査が必要となる。
005は実験表現に問題があることを示している。
独立したデータ制御実験は判断を下す上で価値があるが、元のプロジェクトを完全に再現することとは明らかに異なる。論文は「修正後の改善」といった予期せぬ発見を掲載してもよいが、元のプロジェクトが完全に修正・検証されたと読者を誤解させないよう、データと実施上の限界を説明しなければならない。
視覚的な表現に関しても同様の問題が存在します。過去の表紙の中には、全体的な戦略と矛盾するラベルや不正確な数式が掲載されているものがありました。これらは画像制作過程に起因するものかもしれませんが、読者が内容を誤解する原因となる可能性があります。
そのため、最初の審査段階の後、出版前の事実確認の対象に表紙、タイトル、要約、図表を含めるようにしました。
これらの改訂は、シリーズの当初の目標を変更するものではありませんが、研究要件をより具体的にするものです。
他者を監査する際には、自身の結論も監査対象としなければならない。
IV．守るべき原則はどれか？
記事を6本書き終えると、より詳細な計画を立てようという考えが自然と湧いてくる。つまり、事前にトピックを整理したり、更新頻度を指定したり、記事の構成を固定化して、コラム全体をより標準化した印象にしようという発想だ。
しかしながら、そうすることには明らかなリスクが伴うと我々は考えています。
001から006までのコンテンツの価値は、まさに研究過程で遭遇した具体的な問題から生まれます。資料の中には再現が容易なものもあれば、指標の定義を確認するだけで済むもの、コードの詳細な分析が必要なもの、論文中の数式を比較することで十分に判断できるものもあります。
すべての論文に同じテストの実施、同じ数の指標の提示、そして決まった逆転分析と要約セクションの挿入が求められる場合、研究は容易に単調な作業になりかねない。
そのため、第一段階の後、比較的安定した一連の作業規則を維持しつつ、議論の対象となるトピックを継続的に開拓していくことにしました。
研究テーマの選定は、提起された具体的な主張の価値に対する認識に基づいて行われる。検証に値する疑問が特定された時点で研究が開始され、十分な証拠が得られない場合や、研究を継続することによる限界価値が低すぎる場合は中断される。
分析の深さは問題によっても決まります。正確に再現できる問題であれば、再現すべきです。公開されている情報が不十分な場合は、検証可能性監査を実施できます。コードだけで実装エラーを証明できるのであれば、記事の長さを伸ばすためだけに多数の追加テストを行う必要はありません。
記事の構成は、証拠の数、リスクの数、説明の段落数などを具体的に指定することなく、研究プロセスに応じて自然に形成される。
最終的にたどり着く原則は、以下のように要約できる。
研究基準を定め、研究テーマは限定しない。品質に関する制約は遵守し、成果目標は設定しない。
これは、（定量監査作業規則v1.0）が維持しようとしている中核的な原則でもあります。
V. 次のステップは何ですか？
第一段階では、「定量監査」が様々な資産市場や研究対象を超越し、独立した判断価値を持つコンテンツを生成できることが実証された。
暗号資産、株式ETF、クロスボーダー・ローテーション、商品先物、オープンソースコード、学術論文などはすべて監査の対象となる可能性がある。
しかし、これは将来的にこれらの地域を順番にカバーしなければならないという意味ではない。
007や008といったテーマ、あるいはそれよりも先のテーマについて事前に計画を立てる必要はありませんし、次の記事が前回の記事よりも複雑であったり、驚きに満ちていたりする必要性もありません。
真にさらなる研究に値するのは、明確な主張を提示し、検証可能な証拠があり、監査を通じて読者の判断を変える可能性のある資料である。
ある戦略が確かに信頼できることが証明されたのであれば、それを認めるべきである。もしそれが、克服不可能な証拠の欠落を露呈したのであれば、それに応じて中止すべきである。
今後の研究においても誤りが見つかり、判断の修正が必要となるだろう。更新を可能にすることは、このシリーズの長期的な信頼性を維持するために不可欠である。
結論は
6つの記事を読んだことで、当初よりも「定量監査」についてずっと明確な理解を得ることができました。
定量分析の世界には、美しいバックテスト曲線が溢れかえっており、一見厳密な数式、パラメーター、パフォーマンス指標も豊富にある。問題は、これらの結果が実際にどれほどの信頼性を裏付けることができるのか、ということだ。
驚くべき結果を再現できる場合もあるが、それらは依然として安定した優位性には程遠い。確かに有効な戦略もあるが、宣伝されているほど魔法のようなものではない。コードエラーの中には、元の検証を覆すのに十分なものもあり、エラーの影響を判断するには再計算が必要となるものもある。
私たちが目指すのは、これらの違いをできる限り明確に説明することです。
第1段階では6つの論文が発表され、実世界の事例で検証された一連の作業規則が確立された。これらの規則は今後の研究でさらに改良する必要があるものの、次の段階を支えるには十分である。
定量監査の価値は、最終的には証拠に基づいて結論を導き出す能力にかかっている。
次に監査対象となる問題が発生した際に、どこから着手するかを決定します。