Apa itu pengujian di luar sampel? Mengapa kita tidak boleh berulang kali membuktikan efektivitas strategi dengan data historis yang sama?
Dalam perdagangan mata uang kripto, beberapa strategi menunjukkan performa yang sangat baik dalam backtest, tetapi sering kali gagal saat diterapkan di pasar nyata. Salah satu penyebabnya adalah trader berulang kali menggunakan data historis yang sama untuk menyesuaikan parameter, hingga akhirnya menghasilkan aturan trading yang sangat cocok untuk masa lalu, tetapi belum tentu cocok untuk masa depan.
Untuk mengurangi risiko ini, kita perlu memahami sebuah konsep penting: pengujian di luar sampel (Out-of-Sample Testing).
Pertama, apa itu pengujian dalam sampel?
Data dalam sampel adalah data historis yang digunakan untuk meneliti, memilih parameter, dan menyesuaikan aturan saat mengembangkan strategi.
Misalnya, kamu menggunakan data historis BTC dari tahun 2022 hingga 2024 untuk menguji berbagai kombinasi moving average, rasio stop-loss, dan kondisi masuk, lalu memilih parameter dengan performa terbaik.
Proses ini dapat membantu kamu menyusun strategi. Namun, karena kamu telah berulang kali mengamati dan menyesuaikan data tersebut, hasil akhirnya mungkin terpengaruh overfitting.
Kedua, apa itu pengujian di luar sampel?
Pengujian di luar sampel adalah pengujian performa strategi secara independen dengan menggunakan data yang tidak digunakan untuk memilih parameter selama proses pengembangan.
Misalnya, kamu menggunakan data dari tahun 2022 hingga 2024 untuk mengembangkan strategi, lalu menyisihkan data tahun 2025 hingga aturan strategi pada dasarnya sudah ditetapkan.
Jika strategi tetap menunjukkan performa yang masuk akal pada data yang tidak digunakan selama pengembangan, hal ini dapat memberikan bukti tambahan bahwa strategi tersebut memiliki tingkat kestabilan tertentu.
Namun, ini bukan berarti strategi pasti mampu beradaptasi dengan pasar di masa depan, karena data di luar sampel tetap merupakan data historis.
Ketiga, mengapa hasil pengujian di luar sampel tidak boleh disesuaikan berulang kali?
Misalkan kamu menguji strategi dengan data tahun 2025 dan mendapati performanya buruk. Lalu, kamu terus menyesuaikan parameter hingga hasilnya membaik.
Pada titik ini, data tahun 2025 sebenarnya sudah digunakan dalam proses optimasi strategi, sehingga set pengujian yang semula independen telah kehilangan sebagian independensinya.
Jika hal ini dilakukan berulang kali, meskipun kamu tidak menggunakan informasi masa depan secara langsung, kamu mungkin akan semakin terbiasa menganggap pola kebetulan sebagai keunggulan yang nyata.
Karena itu, pengujian di luar sampel sebisa mungkin harus tetap independen. Jika hasil pengujiannya kurang memuaskan, tinjau kembali strateginya, alih-alih terus-menerus menyesuaikan parameter sampai muncul kurva imbal hasil yang terlihat bagus.
Pasar kripto?
Dalam perdagangan mata uang kripto, beberapa strategi menunjukkan performa yang sangat baik dalam backtest, tetapi sering kali gagal saat diterapkan di pasar nyata. Salah satu penyebabnya adalah trader berulang kali menggunakan data historis yang sama untuk menyesuaikan parameter, hingga akhirnya menghasilkan aturan trading yang sangat cocok untuk masa lalu, tetapi belum tentu cocok untuk masa depan.
Untuk mengurangi risiko ini, kita perlu memahami sebuah konsep penting: pengujian di luar sampel (Out-of-Sample Testing).
Pertama, apa itu pengujian dalam sampel?
Data dalam sampel adalah data historis yang digunakan untuk meneliti, memilih parameter, dan menyesuaikan aturan saat mengembangkan strategi.
Misalnya, kamu menggunakan data historis BTC dari tahun 2022 hingga 2024 untuk menguji berbagai kombinasi moving average, rasio stop-loss, dan kondisi masuk, lalu memilih parameter dengan performa terbaik.
Proses ini dapat membantu kamu menyusun strategi. Namun, karena kamu telah berulang kali mengamati dan menyesuaikan data tersebut, hasil akhirnya mungkin terpengaruh overfitting.
Kedua, apa itu pengujian di luar sampel?
Pengujian di luar sampel adalah pengujian performa strategi secara independen dengan menggunakan data yang tidak digunakan untuk memilih parameter selama proses pengembangan.
Misalnya, kamu menggunakan data dari tahun 2022 hingga 2024 untuk mengembangkan strategi, lalu menyisihkan data tahun 2025 hingga aturan strategi pada dasarnya sudah ditetapkan.
Jika strategi tetap menunjukkan performa yang masuk akal pada data yang tidak digunakan selama pengembangan, hal ini dapat memberikan bukti tambahan bahwa strategi tersebut memiliki tingkat kestabilan tertentu.
Namun, ini bukan berarti strategi pasti mampu beradaptasi dengan pasar di masa depan, karena data di luar sampel tetap merupakan data historis.
Ketiga, mengapa hasil pengujian di luar sampel tidak boleh disesuaikan berulang kali?
Misalkan kamu menguji strategi dengan data tahun 2025 dan mendapati performanya buruk. Lalu, kamu terus menyesuaikan parameter hingga hasilnya membaik.
Pada titik ini, data tahun 2025 sebenarnya sudah digunakan dalam proses optimasi strategi, sehingga set pengujian yang semula independen telah kehilangan sebagian independensinya.
Jika hal ini dilakukan berulang kali, meskipun kamu tidak menggunakan informasi masa depan secara langsung, kamu mungkin akan semakin terbiasa menganggap pola kebetulan sebagai keunggulan yang nyata.
Karena itu, pengujian di luar sampel sebisa mungkin harus tetap independen. Jika hasil pengujiannya kurang memuaskan, tinjau kembali strateginya, alih-alih terus-menerus menyesuaikan parameter sampai muncul kurva imbal hasil yang terlihat bagus.
Pasar kripto?
