Apa Itu Overfitting dalam Trading? Mengapa Backtest Terbaik Bisa Menyesatkan

Apa Itu Overfitting dalam Trading? Mengapa Backtest Terbaik Bisa Menyesatkan




Bayangkan dua trader menunjukkan laporan backtest yang sama bagusnya. Trader pertama menguji satu aturan yang sudah ditulis sejak awal. Trader kedua mencoba 48 kombinasi, lalu hanya menunjukkan laporan terbaik. Angka keuntungan mereka mungkin sama, tetapi cara mendapatkan angka itu berbeda.

Di sinilah muncul risiko overfitting: aturan terlihat berhasil karena terlalu menyesuaikan diri dengan kejadian khusus dalam data lama. Ketika menghadapi pergerakan harga yang baru, pola yang membuatnya tampak unggul belum tentu terulang. Penelitian David H. Bailey dan rekan-rekannya menunjukkan mengapa jumlah konfigurasi yang dicoba penting saat menilai hasil backtest. 

Contoh: bagaimana satu strategi berubah menjadi 48 percobaan?

Misalnya, kamu ingin menguji strategi breakout EURUSD di timeframe M15. Kamu mencoba:

  • 4 pilihan jarak stop loss;
  • 4 pilihan target profit;
  • 3 pilihan jam trading.

Jika setiap pilihan dipasangkan dengan semua pilihan lain, ada 4 × 4 × 3 = 48 kombinasi. Kamu mengujinya pada enam bulan data yang sama, lalu memilih kombinasi dengan keuntungan tertinggi.

Mungkin kombinasi terpilih memang punya kelebihan. Namun, mungkin juga jam entry-nya kebetulan menangkap beberapa pergerakan besar selama enam bulan tersebut. Laporan pemenang saja tidak bisa membedakan kedua kemungkinan itu. Karena itu, catat berapa banyak versi yang dicoba, bukan hanya hasil versi terbaik.

Pisahkan data sebelum memilih pengaturan

Sebagai ilustrasi, anggap kamu memiliki data satu tahun. Sebelum mencoba kombinasi apa pun, bagi data secara kronologis:

Periode contoh Kegunaan
Januari–Agustus Mengembangkan ide, membandingkan aturan, dan memilih satu versi.
September–Desember Menguji versi terpilih pada periode yang belum dipakai untuk memilih aturan.
Setelah pengujian historis Mengamati peluang baru di akun demo dengan aturan yang sudah dikunci.

Pembagian delapan dan empat bulan di atas hanya contoh, bukan standar. Jika strategi jarang memberi sinyal, empat bulan mungkin hanya menghasilkan sedikit transaksi. Catat keterbatasan itu daripada memaksakan kesimpulan. Saat membandingkan periode, gunakan cara menghitung biaya dan ukuran risiko yang konsisten. FXDark juga menjelaskan prinsip tersebut dalam panduan menguji perubahan satu aturan strategi. 

Kesalahan yang sering luput: memakai ulang data uji

Misalkan versi terpilih ternyata rugi pada periode September–Desember. Setelah melihat grafiknya, kamu menyadari bahwa beberapa transaksi rugi terjadi sore hari. Kamu lalu melarang entry sore, menguji ulang periode itu, dan hasilnya membaik.

Mengubah aturan tersebut boleh menjadi ide baru. Masalahnya, September–Desember sekarang sudah membantu kamu memilih aturan. Periode itu tidak lagi menjadi pengujian independen untuk versi baru. Catat perubahan sebagai versi kedua dan tunggu data yang belum dipakai sebelum menilai hasilnya.

Begitu pula jika hasil periode kedua lebih buruk: satu periode rugi belum membuktikan overfitting. Periksa juga jumlah transaksi, perubahan kondisi pasar, dan asumsi biaya. Yang perlu dihindari adalah terus mengubah aturan sampai setiap periode lama terlihat menguntungkan. 

Apa yang perlu dicatat saat forward test?

Sebelum memulai, simpan satu lembar berisi versi aturan, tanggal aturan dikunci, semua variasi yang sudah dicoba, dan hasil yang akan diukur. Saat sinyal baru muncul, catat apakah entry benar-benar bisa dilakukan sesuai rencana. Dengan begitu, kamu bisa membedakan kelemahan aturan dari masalah eksekusi, misalnya sinyal valid tetapi baru terlihat setelah harga bergerak jauh.

Jika ingin berlatih, kamu bisa memeriksa pilihan akun demo di XM. Gunakan aturan yang sudah ditulis tanpa menyesuaikannya setelah setiap kerugian. Pertanyaan terpenting saat membaca laporan bukan hanya “berapa profitnya?”, tetapi juga “apakah strategi ini pernah diuji pada data yang tidak ikut menentukan aturannya?”