Dari artikel pertama hingga keenam, “Audit Kuantitatif” telah menjangkau cakupan riset yang lebih luas daripada yang kami bayangkan semula.
Titik awalnya adalah strategi moving average Bitcoin yang beredar di platform media sosial. Klaim bahwa seluruh 81 EMA mengungguli Bitcoin cukup menarik perhatian, sekaligus cukup meragukan. Setelah itu, kami berkenalan dengan strategi VWAP ber-Sharpe tinggi, proyek backtest sumber terbuka, moving average klasik S&P 500, rotasi momentum ETF lintas negara, serta sebuah riset trend-following yang diklaim mencakup dua abad.
Objek riset terus berubah, dan pertanyaan yang kami ajukan pun semakin mendalam.
Awalnya, kami ingin tahu apakah kurva imbal hasil yang mengesankan dapat direplikasi. Kemudian kami mulai memeriksa definisi indikator, pencatatan transaksi, waktu eksekusi, dan versi strategi, hingga pada artikel keenam kami membandingkan langsung makalah akademis dengan implementasi kode modern.
Setelah enam artikel, seri ini memiliki posisi yang cukup jelas: memeriksa apakah bukti yang mendukung klaim kuantitatif memadai, serta sejauh mana kesimpulan yang dipublikasikan dapat dibenarkan.
Evaluasi ini terutama merangkum penilaian, pengalaman, dan pertanyaan yang tersisa dari tahap pertama.
I. Enam artikel, enam jenis masalah audit yang berbeda
001: Imbal hasil yang luar biasa belum tentu palsu
Audit pertama membahas strategi EMA Bitcoin 81 periode.
Penulis asli mengklaim bahwa, dalam rentang historis yang ditentukan, semua strategi moving average dengan 81 periode berbeda mengungguli strategi beli dan tahan Bitcoin.
Hasil seperti ini mudah membuat orang pertama-tama mencurigai data atau metode backtest. Namun, setelah merekonstruksi pengujian berdasarkan kondisi penulis aslinya, kami memastikan bahwa hasil historis ini dapat direplikasi.
Ketika jendela pengamatan diubah lebih lanjut, kesimpulannya mulai berubah. Fenomena bahwa semua 81 moving average mengungguli strategi beli dan tahan sangat bergantung pada rentang pengujian awal; pada beberapa jendela historis yang lebih baru, strategi beli dan tahan justru berkinerja lebih baik.
Hal ini membentuk standar penilaian penting pertama bagi seri ini: angka yang luar biasa mungkin saja benar, tetapi kebenaran angka tidak berarti semua penjelasan yang ditarik darinya juga benar.
001 berhasil mereplikasi hasil historis dan memperjelas batas penerapannya.
002: Indikator yang meyakinkan harus dapat ditelusuri
Artikel kedua beralih ke strategi regresi VWAP BTC.
Materi terkait melaporkan Sharpe dan imbal hasil tahunan yang tinggi serta penurunan maksimum yang rendah. Sekilas, hasil backtest ini tampak sangat menarik.
Namun, setelah membandingkan materi yang diterbitkan pada waktu berbeda, kami mendapati bahwa indikator strategi yang sama berubah secara signifikan, sementara materi publik tidak memberikan informasi yang cukup jelas mengenai parameter, rentang pengujian, dan catatan versi. Beberapa kolom statistik juga memiliki kontradiksi logis yang sulit dijelaskan.
Masalah-masalah ini tidak cukup untuk membuktikan bahwa backtest asli pasti keliru, tetapi cukup untuk menghalangi pembaca eksternal melakukan verifikasi secara independen.
Karena itu, 002 tidak menyatakan bahwa strategi tersebut benar atau salah, melainkan berhenti pada batas yang didukung oleh bukti: materi publik saat ini belum cukup untuk memverifikasi kinerja backtest tersebut.
Masalah seperti ini cukup umum dalam konten kuantitatif. Pembaca dapat melihat hasilnya, tetapi tidak dapat memastikan bagaimana hasil tersebut diperoleh.
003: Kode publik belum tentu cukup untuk mendukung kinerja yang diklaim
Artikel ketiga mulai mengkaji implementasi strategi secara lebih mendalam.
Sebuah proyek backtest tren BTC sumber terbuka memublikasikan banyak kombinasi parameter, catatan transaksi, dan statistik kinerja. Imbal hasil dan indikator risiko yang dilaporkan tampak sangat mengesankan.
Pemeriksaan kode pertama-tama menemukan masalah pada pencatatan penutupan posisi bertahap dan perhitungan kinerja. Peninjauan lanjutan juga mengonfirmasi bahwa program menggunakan informasi penutupan candle empat jam pertama pada hari berikutnya untuk menentukan apakah posisi dapat dibuka, tetapi mengeksekusi transaksi pada harga pembukaan candle yang sama. Ini merupakan bias melihat ke depan yang jelas.
Pengembalian margin setelah posisi ditutup secara bertahap serta rekapitulasi akhir laba-rugi perdagangan juga memiliki cacat implementasi yang memengaruhi perhitungan akun atau statistik perdagangan.
Temuan-temuan ini langsung mengurangi kepercayaan terhadap indikator kinerja awal. Namun, kami belum menjalankan ulang seluruh pengujian dengan kode yang telah diperbaiki, sehingga belum dapat memastikan arah dan besarnya dampak masing-masing kesalahan terhadap imbal hasil akhir.
003 menunjukkan kepada kami bahwa membuka kode hanyalah awal dari verifikasi. Waktu transaksi, pencatatan akun, dan indikator statistik harus saling selaras.
Artikel ini juga menjadi artikel pertama pada tahap awal yang perlu terus menyimpan catatan revisi teknis.
004: Nilai strategi klasik mungkin lebih sederhana daripada legenda yang melekat padanya
Artikel keempat membahas moving average 200 hari pada S&P 500.
Ini adalah aturan klasik yang telah lama dibahas dalam dunia investasi. Perdebatan tentangnya bukan hal baru: apakah moving average mampu menghasilkan imbal hasil berlebih, atau hanya menyediakan semacam pengendalian risiko?
Hasil pengujian independen cukup jelas.
Dalam rentang historis yang diteliti, strategi moving average 200 hari mengorbankan sebagian imbal hasil pasar bullish, tetapi mengurangi penurunan tajam. Perbandingan dengan moving average dari periode yang berdekatan juga tidak menemukan keunggulan unik yang jelas dan stabil pada parameter tepat 200 hari.
Karena itu, kami mengakui nilai strategi ini dalam mengendalikan risiko pada sampel historis, sembari tetap meragukan kekhususan parameternya dan efektivitasnya di masa depan.
Kontribusi 004 adalah memisahkan peran praktis strategi klasik dari narasi yang telah terbentuk selama bertahun-tahun.
Suatu strategi dapat memiliki nilai praktis meskipun tidak menjalankan semua fungsi yang diharapkan orang darinya.
005: Backtest dan akun simulasi mungkin sudah menjalankan strategi yang berbeda
Artikel kelima membahas rotasi momentum ETF lintas negara.
Proyek asli melaporkan imbal hasil kumulatif dan Sharpe yang cukup besar. Pemeriksaan kode menemukan bahwa manajemen risiko dalam backtest menggunakan harga tertinggi, terendah, dan penutupan pada hari yang sama untuk menilai risiko, tetapi mengeksekusi penjualan pada harga pembukaan hari itu. Urutan waktunya bermasalah.
Namun, kemudian muncul hasil yang berlawanan dengan intuisi.
Dalam eksperimen eksploratif dengan data pasar independen dan implementasi independen, kinerja strategi justru membaik setelah eksekusi manajemen risiko disesuaikan ke urutan waktu yang benar secara kausal.
Hasil ini mengingatkan kita bahwa menemukan penggunaan informasi masa depan tidak otomatis berarti bahwa hal itu pasti meningkatkan imbal hasil.
Namun, eksperimen ini tidak menggunakan keseluruhan data dan lingkungan eksekusi milik penulis asli, dan tidak menyelaraskan setiap transaksi satu per satu. Karena itu, eksperimen ini hanya menunjukkan bahwa perbaikan semacam itu mungkin terjadi; hasilnya tidak dapat dianggap sebagai replikasi presisi atas kinerja proyek asli setelah diperbaiki.
Pemeriksaan lebih lanjut juga menemukan bahwa mode B pada backtest dan mode B pada akun simulasi tidak konsisten dalam aturan stop-loss, kondisi pemicu, dan metode penyesuaian posisi.
Inilah temuan yang lebih jelas dari artikel kelima: strategi yang divalidasi oleh backtest historis berbeda secara substantif dari strategi yang saat ini dijalankan dalam simulasi.
Meskipun keduanya menggunakan nama yang sama, Sharpe historis tidak dapat begitu saja dianggap sebagai kinerja versi yang saat ini diterapkan dan telah tervalidasi.
006: Mereplikasi makalah berarti harus setia pada makalah
Artikel keenam membahas sebuah penelitian yang lebih klasik: (Two Centuries of Trend Following).
Makalah tersebut meneliti efek trend following menggunakan data historis jangka panjang, tetapi sebuah implementasi futures komoditas modern di QuantConnect menghasilkan Sharpe negatif dan menggunakan hasil itu untuk membahas kemungkinan memudarnya informasi tren.
Sekilas, kedua hal ini tampak sangat bertentangan.
Namun, setelah memeriksa kode publik, kami mendapati bahwa implementasi modern telah mengubah secara substantif definisi volatilitas inti dan rumus posisi dalam makalah asli.
Dalam makalah tersebut, risiko diukur dengan rata-rata bergerak eksponensial dari perubahan harga absolut bulanan; sedangkan implementasi publik memasukkan perubahan harga bertanda ke dalam perhitungan penghalusan. Rumus posisi juga berbeda dari makalah aslinya.
Karena itu, kesimpulan yang dapat didukung oleh Sharpe negatif perlu dibatasi ulang.
Hasil tersebut dapat mencerminkan kinerja historis implementasi spesifik ini, tetapi tidak cukup untuk langsung membuktikan bahwa strategi mengikuti tren yang diteliti dalam makalah aslinya telah gagal.
006 menambahkan dimensi audit penting bagi tahap pertama: kesamaan nama penelitian, kutipan makalah, dan komentar kode tidak menjamin bahwa model yang dijalankan benar-benar sama.
II. Penilaian apa yang kami dapatkan setelah enam artikel?
Dari kasus-kasus ini, terlihat beberapa pemahaman yang semakin mantap.
Pertama, hasil audit harus tetap terbuka
001 berhasil mereplikasi keuntungan yang luar biasa besar, 004 mengakui nilai historis strategi moving average klasik dalam mengendalikan risiko, sedangkan eksperimen eksploratif 005 menunjukkan bahwa memperbaiki kesalahan kode tidak selalu menurunkan kinerja.
Jika sejak awal kita menganggap semua imbal hasil tinggi mencurigakan, atau menjadikan penemuan kesalahan sebagai satu-satunya ukuran keberhasilan artikel, hasil-hasil ini akan mudah terabaikan.
Penelitian membutuhkan kemampuan berpikir kritis, sekaligus kesediaan mengakui bukti yang mendukung pihak lain.
Strategi bisa saja efektif, efektif sebagian, atau sama sekali tidak dapat dinilai berdasarkan materi yang tersedia. Kita harus membiarkan hasil-hasil ini muncul apa adanya.
Kedua, replikasi memiliki tingkatan bukti yang berbeda
Di antara enam artikel ini, sebagian kesimpulan berasal dari perhitungan menggunakan data historis independen, sebagian dari pemeriksaan kode secara langsung, dan sebagian hanya sampai pada penilaian apakah materi publik dapat diverifikasi.
Bukti-bukti ini tidak dapat saling menggantikan.
Laporan keuntungan dari penulis bukan berarti kami telah mereplikasi keuntungan tersebut; adanya cacat pada kode sumber tidak otomatis memberi tahu kita berapa hasil setelah diperbaiki; dan eksperimen kontrol dengan data independen tidak dapat langsung menggantikan catatan perdagangan lengkap dari proyek aslinya.
Salah satu hasil penting tahap pertama adalah perlahan-lahan belajar menjelaskan batas-batas ini dengan gamblang.
Tuliskan kesimpulan sejauh yang dapat dipertanggungjawabkan.
Terakhir, objek audit telah berkembang hingga mencakup keseluruhan rantai bukti strategi
Awalnya, kami terutama memeriksa hasil imbal hasil. Pada artikel-artikel berikutnya, audit telah mencakup rumus, kode, perhitungan akun, manajemen risiko, dan eksekusi pada akun simulasi.
Ini menunjukkan bahwa kredibilitas strategi kuantitatif tidak dapat ditentukan hanya dari satu kurva imbal hasil.
Mulai dari deskripsi penulis hingga aturan strategi, dari data mentah hingga kode backtest, lalu ke transaksi konkret dan statistik kinerja, masalah pada satu saja tahapan penting dapat melemahkan kesimpulan akhir.
Bahkan jika strategi historis lolos dari pemeriksaan ini, kinerjanya di luar sampel dan pelaksanaan di dunia nyata tetap perlu diuji lebih lanjut.
Ini adalah arah yang dapat terus didalami oleh audit di masa mendatang, tetapi tidak perlu membebani setiap artikel dengan tugas verifikasi yang lengkap.
III. Kami juga menemukan kekurangan dalam diri kami pada tahap pertama
Evaluasi ini tidak hanya memeriksa proyek yang diaudit, tetapi juga meninjau kembali artikel-artikel kami sendiri.
Contoh yang paling jelas adalah 003.
Audit awal telah menemukan masalah pencatatan transaksi, tetapi kemudian kami juga mengonfirmasi adanya bias melihat ke depan yang lebih langsung pada saat masuk posisi. Ini menunjukkan bahwa artikel yang telah selesai pun tidak berarti penilaian yang ada harus dibekukan selamanya. Jika bukti baru cukup untuk mengubah analisis awal, kita perlu meninjaunya kembali.
005 mengungkap masalah dalam penyajian eksperimen.
Eksperimen kontrol dengan data independen memiliki nilai untuk penilaian, tetapi berbeda jelas dari replikasi presisi proyek asli. Artikel dapat mempertahankan temuan tak terduga bahwa kinerja justru membaik setelah perbaikan, tetapi harus menjelaskan keterbatasan data dan implementasinya agar pembaca tidak mengira proyek asli telah menjalani validasi lengkap setelah diperbaiki.
Penyajian visual juga menghadapi masalah serupa. Beberapa sampul sebelumnya menampilkan aset yang tidak sesuai dengan strategi atau rumus yang tidak akurat. Meski masalah itu muncul saat pembuatan gambar, hal tersebut tetap dapat menimbulkan pemahaman yang keliru pada pembaca.
Karena itu, setelah evaluasi tahap pertama, kami mulai memasukkan sampul, judul, abstrak, dan grafik ke dalam pemeriksaan fakta sebelum publikasi.
Revisi ini tidak mengubah tujuan awal seri, tetapi membuat persyaratan penelitiannya lebih jelas.
Kita harus mengizinkan kesimpulan kita sendiri untuk diaudit, sama seperti kita mengaudit pihak lain.
IV. Prinsip apa yang layak dipertahankan?
Setelah menyelesaikan enam artikel, wajar jika muncul gagasan untuk menyusun rencana yang lebih terperinci: menentukan topik sejak awal, menetapkan frekuensi pembaruan, dan merancang struktur artikel tetap agar keseluruhan seri tampak lebih teratur.
Namun, menurut kami, langkah seperti ini memiliki risiko yang jelas.
Nilai konten 001 hingga 006 justru berasal dari masalah konkret yang ditemui selama penelitian. Sebagian materi cocok direplikasi, sebagian hanya perlu diperiksa definisi indikatornya, sebagian mengharuskan pemeriksaan kode yang mendalam, dan sebagian lagi dapat menghasilkan penilaian yang cukup andal dengan membandingkannya terhadap rumus dalam makalah.
Jika setiap artikel diwajibkan menjalankan pengujian yang sama, menampilkan jumlah indikator yang sama, lalu menyertakan bagian pembalikan dan kesimpulan dengan format tetap, penelitian akan mudah berubah menjadi pengulangan formalistis.
Karena itu, setelah tahap pertama, kami memutuskan untuk mempertahankan seperangkat aturan kerja yang relatif stabil, sembari tetap membuka pilihan topik.
Topik ditentukan oleh nilai dari klaim spesifik yang sedang dinilai. Jika ditemukan pertanyaan yang layak diverifikasi, kita mulai mengkajinya; jika bukti tidak memadai atau nilai tambah dari penelitian lebih lanjut terlalu rendah, kita hentikan sementara.
Kedalaman analisis juga ditentukan oleh masalah yang dihadapi. Jika dapat direplikasi secara presisi, lakukan replikasi presisi; jika materi publik tidak memadai, lakukan audit keterverifikasian; jika kode sudah cukup untuk membuktikan kesalahan implementasi, tidak perlu menambahkan banyak pengujian hanya demi memperpanjang artikel.
Struktur artikel terbentuk secara alami mengikuti proses penelitian; tidak ada ketentuan mengenai jumlah bukti, risiko, atau bagian penjelasan yang harus disertakan.
Prinsip yang akhirnya terbentuk dapat dirangkum sebagai berikut:
Tetapkan standar penelitian yang konsisten, tetapi tetap terbuka dalam memilih topik; jaga standar kualitas tanpa menetapkan target jumlah produksi.
Inilah salah satu prinsip utama yang ingin dipertahankan oleh (Aturan Kerja Audit Kuantitatif v1.0).
V. Langkah selanjutnya?
Tahap pertama telah membuktikan bahwa «audit kuantitatif» dapat mencakup berbagai pasar aset dan objek penelitian, serta menghasilkan konten dengan nilai penilaian independen.
Aset kripto, ETF saham, rotasi lintas negara, futures komoditas, kode sumber terbuka, dan makalah akademis, semuanya dapat menjadi objek audit.
Namun, bukan berarti ke depannya kita harus bergiliran membahas bidang-bidang ini.
Kita tidak perlu menetapkan topik 007, 008, atau artikel yang lebih jauh sebelumnya. Kita juga tidak perlu mensyaratkan agar artikel berikutnya lebih rumit atau lebih mengejutkan daripada artikel sebelumnya.
Materi yang layak diteliti lebih lanjut adalah materi yang mengajukan klaim dengan jelas, memiliki bukti yang dapat diverifikasi, dan berpotensi mengubah penilaian pembaca setelah diaudit.
Jika audit membuktikan bahwa suatu strategi memang andal, kita harus mengakuinya. Jika audit mengungkap kesenjangan bukti yang tidak dapat diatasi, kita juga harus menyatakannya dengan jujur dan berhenti.
Penelitian ke depan akan terus menemukan kesalahan dan penilaian yang perlu direvisi. Kesediaan untuk memperbarui penilaian memungkinkan seri ini mempertahankan kredibilitasnya dalam jangka panjang.
Penutup
Setelah enam artikel, pemahaman kami tentang «audit kuantitatif» jauh lebih jelas daripada saat memulainya.
Dunia kuantitatif tidak pernah kekurangan kurva backtest yang mengesankan, ataupun rumus, parameter, dan indikator kinerja yang tampak ketat. Persoalannya adalah seberapa kuat kesimpulan yang dapat didukung oleh semua itu.
Sebagian hasil yang mengejutkan dapat direplikasi, tetapi masih jauh dari keunggulan yang stabil; sebagian strategi memang memiliki nilai, tetapi tidak sehebat yang diklaim dalam promosinya; beberapa kesalahan kode cukup untuk menggugurkan validasi awal, sementara dampak kesalahan lainnya baru dapat dipastikan setelah perhitungan ulang.
Yang ingin kami lakukan adalah menjelaskan perbedaan-perbedaan ini sejelas mungkin.
Tahap pertama telah menghasilkan enam artikel dan seperangkat aturan kerja yang telah diuji melalui kasus nyata. Aturan ini masih perlu disempurnakan dalam penelitian selanjutnya, tetapi sudah cukup untuk mendukung kelanjutan ke tahap berikutnya.
Pada akhirnya, nilai audit kuantitatif bergantung pada kemampuan kita membiarkan bukti membatasi kesimpulan.
Kita akan menentukan titik awal artikel berikutnya setelah muncul pertanyaan lain yang layak diaudit.