Đoàn tàu thổi phồng AGI có thể đang trật bánh vì một sai lầm logic căn bản.

Hãy hình dung tri thức của con người như một tập dữ liệu khổng lồ nhưng hữu hạn. LLM có thể nén và kết hợp lại dữ liệu này tốt hơn rất nhiều so với bất kỳ cá nhân nào, nhưng vẫn có một giới hạn cứng. Bạn không thể tự cải thiện đệ quy mãi mãi trong một vòng lặp khép kín.

Vấn đề chí mạng là hiện tượng sụp đổ mô hình. Khi huấn luyện bằng đầu ra tổng hợp mà không đối chiếu với các tín hiệu chân lý bên ngoài (thí nghiệm thực tế, kiểm chứng hình thức, kiểm tra với thế giới vật lý), phân phối dữ liệu sẽ suy thoái. Giống như sao chụp bản sao của một bản sao.

Siêu trí tuệ đòi hỏi phải thoát khỏi phân phối huấn luyện, chứ không chỉ tối ưu hóa bên trong nó. Nếu không liên tục bổ sung dữ liệu chân thực mới (kết quả phòng thí nghiệm, công cụ chứng minh định lý, vòng phản hồi từ thế giới thực), việc tự huấn luyện đệ quy sẽ nhanh chóng cho lợi ích giảm dần.

Đây không phải là bi quan, mà là lý thuyết thông tin. Bạn cần một nguồn thông tin chuẩn bên ngoài để thoát khỏi các điểm tối ưu cục bộ.