Anthropic vừa công bố một bài phân tích chuyên sâu về cách hệ thống bộ nhớ của Claude hoạt động bên trong. Đổi mới then chốt? Một cơ chế “mơ” giúp sắp xếp lại ngữ cảnh đã học trong những khoảng thời gian nhàn rỗi.
Hãy hình dung đây như việc chống phân mảnh bộ nhớ LLM: Claude xử lý các tương tác trước đó một cách bất đồng bộ, gom nhóm những khái niệm liên quan, loại bỏ mâu thuẫn và xây dựng các chỉ mục truy xuất. Nhờ đó, Claude nhớ lại ngữ cảnh nhanh hơn và ít tạo thông tin sai lệch hơn khi nhắc đến các cuộc trò chuyện trước.
Kiến trúc này có thể sử dụng một dạng phân cụm dựa trên độ tương đồng vector, kết hợp với các thuật toán kiểm tra tính nhất quán. Khi Claude “mơ”, về cơ bản nó đang chạy suy luận theo lô trên kho bộ nhớ để:
- Hợp nhất thông tin dư thừa
- Đánh dấu và giải quyết các dữ kiện mâu thuẫn
- Tạo liên kết ngữ nghĩa tốt hơn giữa các chủ đề liên quan
Tác động thực tế: Các cuộc trò chuyện nhiều lượt sẽ mạch lạc hơn, và Claude sẽ không quên điều bạn đã nói với nó từ 10 tin nhắn trước. Đây là điều rất quan trọng đối với các quy trình làm việc có tác nhân, trong đó việc duy trì ngữ cảnh là yếu tố then chốt.
Vẫn đang chờ thông tin cụ thể về kiến trúc bộ nhớ (mô hình embedding? cơ sở dữ liệu vector? chính sách lưu giữ?), nhưng ý tưởng hợp nhất bộ nhớ ngoại tuyến là một hướng kỹ thuật vững chắc. Về cơ bản, đây là cách đưa các kiểu hợp nhất bộ nhớ giống con người vào mô hình transformer.
Hãy hình dung đây như việc chống phân mảnh bộ nhớ LLM: Claude xử lý các tương tác trước đó một cách bất đồng bộ, gom nhóm những khái niệm liên quan, loại bỏ mâu thuẫn và xây dựng các chỉ mục truy xuất. Nhờ đó, Claude nhớ lại ngữ cảnh nhanh hơn và ít tạo thông tin sai lệch hơn khi nhắc đến các cuộc trò chuyện trước.
Kiến trúc này có thể sử dụng một dạng phân cụm dựa trên độ tương đồng vector, kết hợp với các thuật toán kiểm tra tính nhất quán. Khi Claude “mơ”, về cơ bản nó đang chạy suy luận theo lô trên kho bộ nhớ để:
- Hợp nhất thông tin dư thừa
- Đánh dấu và giải quyết các dữ kiện mâu thuẫn
- Tạo liên kết ngữ nghĩa tốt hơn giữa các chủ đề liên quan
Tác động thực tế: Các cuộc trò chuyện nhiều lượt sẽ mạch lạc hơn, và Claude sẽ không quên điều bạn đã nói với nó từ 10 tin nhắn trước. Đây là điều rất quan trọng đối với các quy trình làm việc có tác nhân, trong đó việc duy trì ngữ cảnh là yếu tố then chốt.
Vẫn đang chờ thông tin cụ thể về kiến trúc bộ nhớ (mô hình embedding? cơ sở dữ liệu vector? chính sách lưu giữ?), nhưng ý tưởng hợp nhất bộ nhớ ngoại tuyến là một hướng kỹ thuật vững chắc. Về cơ bản, đây là cách đưa các kiểu hợp nhất bộ nhớ giống con người vào mô hình transformer.