Cựu nhà nghiên cứu của OpenAI Nick Cammarata khẳng định rằng khoảng 90% nơ-ron trong một mô hình AI lớn chỉ thực hiện một chức năng duy nhất, qua đó thách thức một lý thuyết mà chính ông từng góp phần xây dựng.

Điểm chính:

  • Cammarata cho rằng những ví dụ nổi tiếng về các nơ-ron « đan xen » phần lớn đã bị diễn giải sai.

  • Tuy nhiên, một số nhà nghiên cứu hàng đầu cho rằng những kết quả này không làm thay đổi căn bản bức tranh tổng thể.

  • Một bài báo kỹ thuật trình bày chi tiết và củng cố những khẳng định này vẫn chưa được công bố.

“Kiểm toán” các nơ-ron của Cammarata

Hiện là nhà nghiên cứu tại phòng thí nghiệm diễn giải tính của Goodfire, Cammarata trình bày luận điểm của mình vào ngày 15 tháng 10 trong một bài luận có tiêu đề “Mạng nơ-ron vốn đã minh bạch”, đăng trên trang web của phòng thí nghiệm. Ông cho rằng phần lớn nơ-ron, kể cả trong các mô hình có tới hàng nghìn tỷ tham số, giờ đây đã có thể được diễn giải — trái ngược với những nghiên cứu trước đây. Quan điểm này đã gây chia rẽ trong cộng đồng nghiên cứu.

Trong các cuộc kiểm toán sơ bộ mô hình Qwen3‑32B, Goodfire ước tính khoảng 90% “cụm” nơ-ron chỉ có một chức năng chính, gần 7% có hai chức năng nhưng có liên quan với nhau, và chỉ 2% đến 4% vẫn chưa được giải thích. Phần lớn phân tích được thực hiện bởi các tác nhân AI.

Cammarata cũng xem xét lại nơ-ron “đa ngữ nghĩa” nổi tiếng nhất trong lĩnh vực này, được phát hiện trong mô hình ảnh InceptionV1. Nơ-ron này dường như được kích hoạt cả khi nhận diện mặt mèo lẫn đầu xe ô tô nhìn từ phía trước. Giờ đây, ông diễn giải nó như một bộ dò hình chữ V: những hình dạng nhọn, như mõm cáo hoặc ngọn lửa, khiến nơ-ron kích hoạt mạnh, trong khi những hình dạng tròn, như chữ O, khiến nó chuyển sang trạng thái âm.

Cũng nên đọc: Tesla Roadster bay có hợp pháp không? Sẽ chưa có câu trả lời rõ ràng trước năm 2028

Nanda thách thức Cammarata

Roon, nhân viên OpenAI viết dưới bút danh và tự nhận là bạn thân của Cammarata, cho rằng công trình này có thể trở thành một dấu mốc trong lịch sử khoa học. Tuy nhiên, ông cảnh báo rằng cần có những xác nhận độc lập.

Neel Nanda, người đứng đầu nhóm diễn giải tính tại Google DeepMind, tỏ ra dè dặt hơn hẳn. Theo ông, bài luận này thú vị nhưng hầu như không làm thay đổi bức tranh tổng thể; ông dự đoán việc chỉ nghiên cứu các nơ-ron sẽ để lại nhiều điểm mù đáng kể. Nanda tiếp tục bảo vệ quan điểm rằng hiện tượng chồng lấp là có thật, lập luận rằng các mô hình ngôn ngữ lưu trữ nhiều sự kiện hơn số lượng nơ-ron của chúng, đồng thời nghi ngờ rằng kết quả thu được từ các mô hình ảnh nhỏ có thể áp dụng cho những hệ thống lớn hơn nhiều.

Nếu Cammarata đúng, các nhà nghiên cứu có thể tìm kiếm trực tiếp dấu hiệu lừa dối hoặc hành vi nguy hiểm trong các mạch bên trong mô hình, thay vì dựa vào những chuỗi suy luận được tạo ra bằng ngôn ngữ tự nhiên, vốn ngày càng bị xem là kém đáng tin cậy. Tuy vậy, bài báo kỹ thuật chi tiết vẫn chưa được công bố, và Goodfire, với tư cách là một công ty chuyên về diễn giải tính, rõ ràng có lợi ích trong việc bảo vệ luận điểm này.

Bài luận này đánh dấu một sự thay đổi quan điểm ngoạn mục của Cammarata. Năm 2020, ông đồng tác giả với Chris Olah bài viết “Zoom In”, trình bày những mạch đầu tiên được diễn giải như bằng chứng về hiện tượng chồng lấp — ý tưởng cho rằng các mạng thiếu nơ-ron sẽ xếp chồng những khái niệm không liên quan rõ ràng lên cùng một đơn vị. Ba năm sau, một dự án diễn giải tự động do ông khởi xướng tại OpenAI chỉ đánh giá được khoảng 1,7% nơ-ron là có thể hiểu được, ngay cả khi áp dụng thước đo rộng lượng nhất.

Đón đọc: ChatGPT vượt Claude Haiku 5.5 trong bài kiểm tra 3‑2, nhưng thua ở phần tư vấn cá nhân hóa