Trước khi ai đó mạo hiểm vốn với một chiến lược, họ hỏi: liệu chiến lược này đã từng hoạt động trong quá khứ không? Backtesting trả lời nó — bạn chạy một tập quy tắc trên dữ liệu lịch sử và tổng hợp kết quả. Nếu làm một cách trung thực, đây là một trong những công cụ hữu ích nhất trong công việc định lượng. Nếu làm cẩu thả, nó lại là một trong những công cụ nguy hiểm nhất, vì backtest thật ra rất dễ khiến trông có vẻ rực rỡ trong khi hoàn toàn vô giá trị.

Vì sao một backtest hay rất dễ bị làm giả:

• Thiên vị do nhìn trước. Chiến lược được âm thầm cho phép sử dụng thông tin mà tại thời điểm đó nó không thể có. Một quy tắc “mua gần đáy của tháng” là điều tầm thường nếu nhìn lại, nhưng là điều không thể thực hiện trong thời gian thực.

• Tối ưu hóa “im lặng”. Hãy thử đủ nhiều bộ tham số và một trong số đó sẽ tạo ra một đường cong ngoạn mục — không phải vì nó tìm ra một mẫu thật, mà vì với đủ lần thử thì thứ gì đó cũng sẽ khớp với nhiễu. Các thí nghiệm thất bại hiếm khi được ghi lại, nên người thắng trông như một chiến thắng “thử một lần là ra”.

Phiên bản sâu nhất chính là hiện tượng overfitting: một chiến lược ghi nhớ quá khứ thay vì học một mẫu bền vững. Nó khớp lịch sử vì nó được định hình theo lịch sử — và sụp đổ trên dữ liệu mà nó chưa từng thấy.

Một backtest trung thực trông như thế nào:

• Loại ra một phần dữ liệu — xây dựng trên một lát cắt, rồi kiểm thử một lần duy nhất trên một lát cắt sau đó mà nó chưa từng thấy.

• Đi theo hướng dự báo — huấn luyện lại trên một cửa sổ trượt, kiểm thử trên giai đoạn ngay sau đó.

• Mô hình hóa các rào cản — chi phí, spread, độ trượt giá (slippage).

• Đếm số lần thử — bạn thử càng nhiều thì khả năng kết quả tốt nhất của bạn là may mắn càng cao.

Ngay cả một backtest cẩn thận cũng có chung một điểm yếu: nó được chấm trên dữ liệu đã tồn tại, nên người kiểm thử luôn biết câu chuyện sẽ kết thúc ra sao. Cách duy nhất để thoát hoàn toàn là dự đoán trước và để thực tế chấm điểm bạn — một bài kiểm tra theo thời gian thực (forward test).

Đó là thiết kế của thí nghiệm công khai của chúng tôi: mọi dự báo đều được khóa và gắn dấu thời gian Bitcoin trước sự kiện, rồi được chấm điểm công khai — cả thắng lẫn thua. Không có gì về một bản ghi “forward” có dấu thời gian lại có thể được lặng lẽ khớp vào một quá khứ mà bạn đã biết từ trước.

Toàn bộ bản ghi: https://neuportal.ai/experiment

Chỉ mang tính giáo dục — không phải lời khuyên tài chính.