Từ bài đầu tiên đến bài thứ sáu, «Kiểm toán định lượng» đã mở rộng phạm vi nghiên cứu xa hơn dự kiến ban đầu.

Mọi chuyện bắt đầu từ một chiến lược đường trung bình động Bitcoin được lan truyền trên mạng xã hội. Tuyên bố rằng cả 81 đường EMA đều vượt trội hơn Bitcoin đủ sức thu hút sự chú ý, nhưng cũng khiến người ta không khỏi hoài nghi. Sau đó, chúng tôi lần lượt tìm hiểu các chiến lược VWAP có Sharpe cao, dự án kiểm định ngược mã nguồn mở, đường trung bình động kinh điển của S&P 500, chiến lược luân chuyển động lượng ETF xuyên biên giới, và một nghiên cứu theo dõi xu hướng tuyên bố bao quát hai trăm năm.

Đối tượng nghiên cứu liên tục thay đổi, và những câu hỏi chúng tôi quan tâm cũng dần đi sâu hơn.

Ban đầu, chúng tôi muốn biết liệu có thể tái lập một đường cong lợi nhuận đẹp hay không. Sau đó, chúng tôi bắt đầu kiểm tra cách định nghĩa chỉ số, hạch toán giao dịch, thời điểm thực thi, phiên bản chiến lược, cho đến bài thứ sáu thì trực tiếp đối chiếu bài nghiên cứu học thuật với bản triển khai mã hiện đại.

Sau sáu bài, định hướng của loạt bài đã khá rõ ràng: xem xét liệu bằng chứng cho các tuyên bố định lượng có đầy đủ hay không, cũng như xác định chính xác mức độ mà kết luận được công bố có thể đứng vững.

Lần nhìn lại này chủ yếu tổng hợp những nhận định, kinh nghiệm và vấn đề còn lại từ giai đoạn đầu tiên.

I. Sáu bài viết, sáu dạng vấn đề kiểm toán khác nhau

001: Lợi nhuận phi thường chưa chắc là giả

Bài kiểm toán đầu tiên xem xét chiến lược EMA 81 kỳ của Bitcoin.

Tác giả ban đầu tuyên bố rằng trong giai đoạn lịch sử được chỉ định, cả 81 chiến lược đường trung bình động với các chu kỳ khác nhau đều vượt trội hơn so với mua và nắm giữ Bitcoin.

Kết quả như vậy rất dễ khiến người ta nghi ngờ dữ liệu hoặc cách thức kiểm định hồi tố trước tiên. Nhưng sau khi dựng lại phép thử theo điều kiện của tác giả ban đầu, chúng tôi xác nhận rằng có thể tái lập kết quả lịch sử này.

Khi tiếp tục thay đổi cửa sổ quan sát, kết luận bắt đầu thay đổi. Hiện tượng cả 81 đường trung bình động đều vượt trội phụ thuộc rõ rệt vào giai đoạn kiểm định ban đầu; trong một số cửa sổ lịch sử gần đây hơn, mua và nắm giữ lại cho kết quả tốt hơn.

Điều này đặt ra tiêu chuẩn đánh giá quan trọng đầu tiên cho loạt bài: những con số gây kinh ngạc có thể là thật, nhưng con số đúng không có nghĩa là mọi cách diễn giải suy ra từ đó đều đúng.

001 đã tái lập thành công kết quả lịch sử, đồng thời xác định rõ giới hạn áp dụng của kết quả đó.

002: Chỉ số đẹp cần có thể truy nguyên

Bài thứ hai chuyển sang chiến lược hồi quy về VWAP của BTC.

Tài liệu liên quan công bố Sharpe và lợi nhuận thường niên rất cao, cùng mức sụt giảm tối đa rất thấp; thoạt nhìn, đây là kết quả kiểm định hồi tố khá hấp dẫn.

Nhưng khi đối chiếu các tài liệu được công bố ở những thời điểm khác nhau, chúng tôi nhận thấy các chỉ số của cùng một chiến lược thay đổi đáng kể, trong khi tài liệu công khai không cung cấp đủ thông tin rõ ràng về tham số, giai đoạn kiểm định và lịch sử phiên bản. Một số trường thống kê còn có những mâu thuẫn logic khó giải thích.

Những vấn đề này chưa đủ để chứng minh rằng phép kiểm định hồi tố ban đầu chắc chắn sai, nhưng đủ để ngăn độc giả bên ngoài tự mình kiểm chứng.

Vì vậy, 002 không kết luận chiến lược đúng hay sai mà chỉ dừng ở mức bằng chứng có thể hỗ trợ: tài liệu công khai hiện chưa đủ để xác minh hiệu suất kiểm định hồi tố này.

Vấn đề dạng này khá phổ biến trong các nội dung định lượng. Độc giả có thể nhìn thấy kết quả nhưng không thể xác nhận kết quả đó được tạo ra như thế nào.

003: Mã nguồn công khai chưa chắc đã đủ để xác minh hiệu suất được công bố

Bài thứ ba bắt đầu đi sâu vào cách triển khai chiến lược.

Một dự án kiểm định hồi tố xu hướng BTC mã nguồn mở công khai nhiều tổ hợp tham số, hồ sơ giao dịch và thống kê hiệu suất; các chỉ số lợi nhuận và rủi ro trong báo cáo trông rất ấn tượng.

Kiểm tra mã nguồn trước tiên phát hiện vấn đề trong hạch toán thoát lệnh từng phần và tính toán hiệu suất. Quá trình rà soát tiếp theo xác nhận rằng chương trình dùng thông tin giá đóng cửa của cây nến 4 giờ đầu tiên vào ngày kế tiếp để quyết định có thể vào lệnh hay không, nhưng lại khớp lệnh theo giá mở cửa của chính cây nến đó, tạo thành sai lệch nhìn trước rõ ràng.

Việc hoàn trả ký quỹ sau khi thoát lệnh từng phần và tổng hợp lãi lỗ của các giao dịch cuối cùng cũng có lỗi triển khai, ảnh hưởng đến việc tính toán tài khoản hoặc thống kê giao dịch.

Những phát hiện này trực tiếp làm suy giảm độ tin cậy của các chỉ số hiệu suất ban đầu. Tuy nhiên, chúng tôi chưa chạy lại toàn bộ với mã đã sửa nên không thể xác nhận cụ thể hướng và mức độ ảnh hưởng của từng lỗi đến lợi nhuận cuối cùng.

003 cho chúng tôi thấy rằng công khai mã nguồn mới chỉ là điểm khởi đầu của quá trình kiểm chứng. Thời điểm giao dịch, hạch toán tài khoản và chỉ số thống kê phải có sự tương ứng với nhau.

Đây cũng là bài đầu tiên trong giai đoạn này cần tiếp tục lưu lại hồ sơ chỉnh sửa kỹ thuật.

004: Giá trị của chiến lược kinh điển có thể bình dị hơn lời đồn

Bài thứ tư nghiên cứu đường trung bình động 200 ngày của S&P 500.

Đây là một quy tắc kinh điển đã tồn tại lâu đời trong các cuộc thảo luận về đầu tư. Tranh luận xoay quanh nó không có gì mới: liệu đường trung bình động có thể tạo ra lợi nhuận vượt trội, hay chỉ cung cấp một hình thức kiểm soát rủi ro nào đó?

Kết quả từ phép thử độc lập khá rõ ràng.

Trong giai đoạn lịch sử được nghiên cứu, chiến lược đường trung bình động 200 ngày hy sinh một phần lợi nhuận trong thị trường giá lên nhưng giảm mức sụt giảm sâu. So sánh với các đường trung bình động có chu kỳ lân cận cũng không cho thấy tham số chính xác 200 ngày có lợi thế riêng biệt rõ rệt và ổn định.

Vì vậy, chúng tôi chấp nhận giá trị kiểm soát rủi ro của chiến lược trong mẫu lịch sử, đồng thời vẫn hoài nghi về tính đặc thù của tham số và hiệu lực trong tương lai.

Đóng góp của 004 là tách vai trò thực tế của chiến lược kinh điển ra khỏi câu chuyện được hình thành lâu nay về nó.

Một chiến lược có thể hữu ích trong thực tế, ngay cả khi nó không thực hiện được toàn bộ chức năng mà người ta kỳ vọng ở nó.

005: Kiểm định hồi tố và giao dịch mô phỏng có thể đã không còn là cùng một chiến lược

Bài thứ năm nghiên cứu chiến lược luân chuyển động lượng ETF xuyên biên giới.

Dự án gốc báo cáo tổng lợi nhuận tích lũy và Sharpe khá đáng kể. Kiểm tra mã nguồn cho thấy biện pháp kiểm soát rủi ro trong quá trình kiểm định hồi tố sử dụng giá cao nhất, thấp nhất và giá đóng cửa trong ngày để đánh giá rủi ro, nhưng lại thực hiện lệnh bán theo giá mở cửa cùng ngày, tạo ra vấn đề về trình tự thời gian.

Nhưng sau đó lại xuất hiện một kết quả trái với trực giác.

Trong các thí nghiệm khám phá sử dụng dữ liệu thị trường độc lập và cách triển khai độc lập, hiệu suất chiến lược thậm chí còn được cải thiện sau khi điều chỉnh quy trình thực thi quản trị rủi ro về đúng trình tự nhân quả.

Kết quả này nhắc chúng tôi rằng phát hiện việc sử dụng dữ liệu tương lai không đồng nghĩa với việc có thể tự động kết luận rằng nó chắc chắn làm tăng lợi nhuận.

Tuy nhiên, thí nghiệm này không sử dụng đầy đủ dữ liệu và môi trường thực thi của tác giả ban đầu, cũng chưa đối chiếu từng giao dịch. Vì vậy, nó chỉ cho thấy khả năng cải thiện này có thể xảy ra, chứ không thể xem là bản tái lập chính xác hiệu suất của dự án gốc sau khi sửa.

Kiểm tra sâu hơn còn phát hiện chế độ B của kiểm định hồi tố và chế độ B của giao dịch mô phỏng không nhất quán về quy tắc dừng lỗ, điều kiện kích hoạt và cách điều chỉnh vị thế.

Đây mới là phát hiện rõ ràng hơn của bài thứ năm: chiến lược được xác nhận trong kiểm định hồi tố lịch sử khác biệt đáng kể so với chiến lược đang được chạy mô phỏng hiện nay.

Dù cả hai cùng dùng một tên gọi, cũng không thể mặc nhiên xem Sharpe lịch sử là hiệu suất đã được xác minh của phiên bản đang triển khai hiện nay.

006: Tái lập bài nghiên cứu đòi hỏi trung thành với bài nghiên cứu

Bài thứ sáu xem xét một nghiên cứu kinh điển hơn: (Hai thế kỷ theo xu hướng).

Bài nghiên cứu dùng dữ liệu lịch sử dài hạn để khảo sát hiệu ứng theo xu hướng, trong khi một bản triển khai hợp đồng tương lai hàng hóa hiện đại trên QuantConnect lại cho Sharpe âm và từ đó bàn về khả năng thông tin xu hướng đang suy giảm.

Thoạt nhìn, hai bên tạo thành một sự đối lập rõ rệt.

Nhưng sau khi kiểm tra mã nguồn công khai, chúng tôi phát hiện bản triển khai hiện đại đã thay đổi đáng kể định nghĩa cốt lõi về độ biến động và công thức xác định vị thế của bài nghiên cứu ban đầu.

Trong đó, bài nghiên cứu dùng trung bình động hàm mũ của biến động tuyệt đối hằng tháng của giá để đo lường rủi ro; còn bản triển khai công khai lại đưa biến động giá có dấu vào phép tính làm trơn. Công thức vị thế cũng khác với bài nghiên cứu gốc.

Vì vậy, cần giới hạn lại những kết luận mà Sharpe âm có thể hỗ trợ.

Nó có thể phản ánh hiệu quả lịch sử của cách triển khai cụ thể này, nhưng chưa đủ để trực tiếp chứng minh rằng chiến lược theo xu hướng được nghiên cứu trong bài gốc đã mất hiệu lực.

006 bổ sung một khía cạnh kiểm toán quan trọng cho giai đoạn đầu tiên: tên nghiên cứu, trích dẫn bài báo và chú thích trong mã nguồn giống nhau không đảm bảo rằng trên thực tế cùng một mô hình đang được chạy.

II. Sau sáu bài, chúng tôi đã hình thành những nhận định nào?

Nhìn lại những trường hợp này, có thể thấy một số nhận thức dần trở nên vững chắc.

Trước hết, kiểm toán cần giữ kết quả ở trạng thái mở

001 đã tái lập thành công mức lợi nhuận phi thường; 004 thừa nhận giá trị lịch sử của chiến lược đường trung bình động kinh điển trong kiểm soát rủi ro; còn các thí nghiệm khám phá ở 005 cho thấy sửa lỗi mã không nhất thiết làm giảm hiệu suất.

Nếu mặc định rằng mọi mức lợi nhuận cao đều đáng ngờ, hoặc xem việc tìm ra lỗi là tiêu chuẩn duy nhất để đánh giá thành công của bài viết, thì những kết quả này rất dễ bị bỏ qua.

Nghiên cứu cần có tư duy phản biện, đồng thời cần biết thừa nhận bằng chứng từ phía đối lập.

Chiến lược có thể hiệu quả, hiệu quả một phần, hoặc cũng có thể không thể đánh giá dựa trên tài liệu hiện có. Chúng tôi phải chấp nhận để những kết quả này xuất hiện một cách tự nhiên.

Thứ hai, việc tái lập có nhiều cấp độ bằng chứng khác nhau

Trong sáu bài, có kết luận dựa trên tính toán từ dữ liệu lịch sử độc lập, có kết luận đến từ việc kiểm tra trực tiếp mã nguồn, và có kết luận chỉ dừng ở việc đánh giá khả năng kiểm chứng của tài liệu công khai.

Những bằng chứng này không thể thay thế cho nhau.

Tác giả báo cáo có lợi nhuận không có nghĩa là chúng tôi đã tái lập được lợi nhuận đó; mã nguồn có khiếm khuyết cũng không cho phép tự động suy ra lợi nhuận sau khi sửa; các thí nghiệm đối chứng trên dữ liệu độc lập càng không thể thay thế trực tiếp toàn bộ hồ sơ giao dịch của dự án gốc.

Một thành quả quan trọng của giai đoạn đầu tiên là chúng tôi dần học được cách diễn đạt rõ những giới hạn này.

Kết luận có thể đứng vững đến đâu thì chỉ viết đến đó.

Cuối cùng, đối tượng kiểm toán đã mở rộng sang toàn bộ chuỗi bằng chứng của chiến lược

Ban đầu, chúng tôi chủ yếu kiểm tra kết quả lợi nhuận. Đến những bài sau, kiểm toán đã bao gồm công thức, mã nguồn, tính toán tài khoản, quản trị rủi ro và khâu thực thi trên tài khoản mô phỏng.

Điều này cho thấy độ tin cậy của chiến lược định lượng không thể chỉ được quyết định bởi một đường cong lợi nhuận duy nhất.

Từ mô tả của tác giả đến quy tắc chiến lược, từ dữ liệu gốc đến mã kiểm định hồi tố, rồi đến từng giao dịch cụ thể và thống kê hiệu suất, bất kỳ vấn đề nào ở một khâu then chốt cũng có thể làm suy yếu kết luận cuối cùng.

Ngay cả khi một chiến lược lịch sử vượt qua những bước kiểm tra này, nó vẫn cần được kiểm chứng thêm về hiệu suất ngoài mẫu và khả năng thực thi trong thực tế.

Đây là hướng mà hoạt động kiểm toán trong tương lai có thể tiếp tục đào sâu, nhưng không cần buộc mỗi bài viết phải đảm nhận toàn bộ nhiệm vụ kiểm chứng.

III. Trong giai đoạn đầu tiên, chúng tôi cũng nhận ra những thiếu sót của mình

Lần nhìn lại này không chỉ kiểm tra các dự án được kiểm toán mà còn xem xét lại chính các bài viết của chúng tôi.

Trường hợp điển hình nhất là 003.

Cuộc kiểm toán ban đầu đã phát hiện vấn đề trong việc hạch toán giao dịch, nhưng sau đó còn xác nhận sai lệch nhìn trước khi vào lệnh trực tiếp hơn. Điều này cho thấy ngay cả khi một bài viết đã hoàn thành, cũng không thể đóng băng mãi mãi những nhận định đã có. Khi có bằng chứng mới đủ sức làm thay đổi phân tích ban đầu, cần xem xét lại.

005 phơi bày vấn đề trong cách trình bày thí nghiệm.

Thí nghiệm đối chứng trên dữ liệu độc lập có giá trị đánh giá, nhưng khác biệt rõ rệt với việc tái lập chính xác dự án gốc. Bài viết có thể giữ lại phát hiện bất ngờ rằng «hiệu suất còn cải thiện sau khi sửa», nhưng phải nêu rõ các giới hạn về dữ liệu và cách triển khai, tránh khiến độc giả hiểu lầm rằng dự án gốc đã được xác minh đầy đủ sau khi sửa.

Cách thể hiện bằng hình ảnh cũng có vấn đề tương tự. Một số ảnh bìa trước đây sử dụng tài sản không phù hợp với chiến lược hoặc công thức không chính xác. Dù xuất phát từ quá trình thiết kế hình ảnh, chúng vẫn có thể khiến độc giả hiểu sai.

Vì vậy, sau khi nhìn lại giai đoạn đầu tiên, chúng tôi bắt đầu đưa ảnh bìa, tiêu đề, phần tóm tắt và biểu đồ vào quy trình kiểm tra tính xác thực trước khi đăng.

Những chỉnh sửa này không làm thay đổi mục tiêu ban đầu của loạt bài, nhưng giúp các yêu cầu nghiên cứu trở nên rõ ràng hơn.

Kiểm toán người khác cũng đồng nghĩa với việc chấp nhận để kết luận của chính mình được kiểm toán.

IV. Những nguyên tắc nào đáng được giữ lại?

Sau khi hoàn thành sáu bài, ý nghĩ lập kế hoạch chi tiết hơn nảy ra rất tự nhiên: lên lịch chủ đề trước, quy định tần suất đăng bài, thiết kế cấu trúc cố định cho mỗi bài để cả chuyên mục trông có vẻ quy củ hơn.

Nhưng chúng tôi cho rằng cách làm này tiềm ẩn rủi ro rõ rệt.

Giá trị nội dung của 001 đến 006 chính là nằm ở những vấn đề cụ thể gặp phải trong quá trình nghiên cứu. Có tài liệu phù hợp để tái lập, có tài liệu chỉ cần kiểm tra cách định nghĩa chỉ số, có tài liệu đòi hỏi phải đi sâu vào mã nguồn, và cũng có trường hợp chỉ cần đối chiếu công thức trong bài nghiên cứu là đủ để đưa ra nhận định đáng tin cậy.

Nếu yêu cầu bài nào cũng phải hoàn thành cùng một bộ phép thử, trình bày cùng số lượng chỉ số, rồi thêm một đoạn đảo chiều và tổng kết theo khuôn cố định, hoạt động nghiên cứu rất dễ trở thành sự lặp lại hình thức.

Vì vậy, sau giai đoạn đầu tiên, chúng tôi quyết định duy trì một bộ quy tắc làm việc tương đối ổn định, đồng thời tiếp tục để ngỏ việc lựa chọn chủ đề.

Giá trị của một chủ đề được quyết định bởi mức độ hữu ích của câu hỏi cụ thể cần đánh giá. Nếu phát hiện vấn đề đáng kiểm chứng thì bắt đầu; nếu không có đủ bằng chứng hoặc lợi ích biên của việc nghiên cứu tiếp quá thấp thì tạm dừng.

Độ sâu phân tích cũng phụ thuộc vào vấn đề. Có thể tái lập chính xác thì hãy tái lập chính xác; khi tài liệu công khai không đầy đủ, có thể kiểm toán khả năng kiểm chứng; khi mã nguồn đã đủ để chứng minh một lỗi triển khai thì không cần thêm hàng loạt phép thử chỉ để kéo dài bài viết.

Cấu trúc bài viết hình thành tự nhiên theo quá trình nghiên cứu, không quy định phải có bao nhiêu bằng chứng, bao nhiêu rủi ro hay bao nhiêu đoạn giải thích.

Có thể tóm tắt những nguyên tắc cuối cùng được đúc kết như sau:

Giữ vững tiêu chuẩn nghiên cứu, để ngỏ chủ đề; kiên trì với yêu cầu chất lượng, không đặt chỉ tiêu sản lượng.

Đây cũng là cốt lõi mà (Quy tắc làm việc kiểm toán định lượng v1.0) muốn gìn giữ.

V. Giai đoạn tiếp theo sẽ đi theo hướng nào?

Giai đoạn đầu tiên đã chứng minh rằng «kiểm toán định lượng» có thể vượt qua ranh giới giữa các thị trường tài sản và đối tượng nghiên cứu khác nhau, đồng thời tạo ra nội dung có giá trị đánh giá độc lập.

Tài sản tiền mã hóa, ETF cổ phiếu, luân chuyển xuyên biên giới, hợp đồng tương lai hàng hóa, mã nguồn mở và bài nghiên cứu học thuật đều có thể trở thành đối tượng kiểm toán.

Nhưng điều đó không có nghĩa là sau này chúng tôi phải lần lượt bao quát các lĩnh vực này.

Chúng tôi không cần lên kế hoạch trước cho chủ đề 007, 008 hay xa hơn, cũng không cần yêu cầu bài tiếp theo phải phức tạp hoặc gây kinh ngạc hơn bài trước.

Điều thực sự đáng để tiếp tục nghiên cứu là những tài liệu đưa ra được nhận định rõ ràng, có bằng chứng kiểm chứng được và có khả năng thay đổi đánh giá của độc giả thông qua kiểm toán.

Nếu bằng chứng cho thấy một chiến lược thực sự đáng tin cậy, chúng tôi nên thừa nhận điều đó. Nếu nó phơi bày một khoảng trống bằng chứng không thể khắc phục, chúng tôi cũng nên thành thật dừng lại.

Trong các nghiên cứu sau, chúng tôi sẽ tiếp tục gặp lỗi và cần sửa đổi những nhận định. Chỉ khi cho phép cập nhật, loạt bài mới có thể duy trì độ tin cậy lâu dài.

Lời kết

Sau sáu bài viết, chúng tôi đã hiểu rõ hơn nhiều về «kiểm toán định lượng» so với lúc ban đầu.

Thế giới định lượng chưa bao giờ thiếu những đường cong kiểm định hồi tố đẹp mắt, hay những công thức, tham số và chỉ số hiệu suất trông có vẻ nghiêm ngặt. Vấn đề là những nội dung này thực sự có thể hỗ trợ kết luận mạnh đến mức nào.

Một số kết quả đáng kinh ngạc có thể được tái lập, nhưng vẫn còn cách xa lợi thế ổn định; một số chiến lược thực sự có giá trị, nhưng không kỳ diệu như lời quảng bá; một số lỗi mã đủ sức bác bỏ kết quả kiểm chứng ban đầu, còn ảnh hưởng của những lỗi khác chỉ có thể xác định sau khi tính toán lại.

Điều chúng tôi muốn làm là cố gắng diễn đạt rõ những khác biệt này.

Giai đoạn đầu tiên đã hoàn thành sáu bài viết và để lại một bộ quy tắc làm việc đã được kiểm nghiệm qua các trường hợp thực tế. Bộ quy tắc vẫn cần tiếp tục hoàn thiện trong các nghiên cứu sau, nhưng đã đủ để hỗ trợ chúng tôi bước vào giai đoạn tiếp theo.

Giá trị của kiểm toán định lượng cuối cùng phụ thuộc vào việc chúng ta có thể để bằng chứng ràng buộc kết luận đến đâu.

Bài tiếp theo sẽ bắt đầu từ đâu, cứ đợi đến khi xuất hiện vấn đề đáng kiểm toán tiếp theo rồi quyết định.