Phá vỡ các tế bào thần kinh của một mô hình lớn! Nghiên cứu mới nhất của nhóm Claude đang được lan truyền rộng rãi, cư dân mạng: Mở hộp đen

Nguồn tái bản của bài viết: Model Evolution
Nguồn gốc: Qubits
Nguồn hình ảnh: Được tạo bởi AI không giới hạn
Tính không thể giải thích được của mạng nơ-ron luôn là “vấn đề muôn thuở” trong lĩnh vực AI.
Nhưng bây giờ, có vẻ như chúng ta đã đạt được một số tiến bộ -
Anthropic, công ty đứng sau Claude, đối thủ cạnh tranh mạnh nhất của ChatGPT, đã sử dụng phương pháp học từ điển để phân tách thành công khoảng 500 nơ-ron thành khoảng 4.000 đặc điểm có thể hiểu được.
Cụ thể, tế bào thần kinh là không thể giải thích được, nhưng sau quá trình phân tách này, Anthropic nhận thấy rằng mỗi đặc điểm thể hiện một ý nghĩa khác nhau, ví dụ, một số đặc điểm chịu trách nhiệm về chuỗi DNA và một số đại diện cho các yêu cầu HTTP, văn bản pháp lý, v.v., tức là Có khả năng diễn giải.
Bằng cách kích thích một cách giả tạo bất kỳ tính năng nào trong số này, chúng tôi có thể hướng dẫn mô hình đưa ra kết quả mà chúng tôi mong đợi.
Ví dụ: bật tính năng DNA sẽ khiến mô hình xuất ra DNA và bật tính năng văn bản tiếng Ả Rập sẽ khiến mô hình xuất ra văn bản tiếng Ả Rập.
Anthropic hào hứng nói:
 Cách tiếp cận của họ có khả năng vượt qua trở ngại lớn về tính không thể giải thích được của AI. Và một khi chúng ta có thể hiểu cách thức hoạt động của các mô hình ngôn ngữ, chúng ta có thể dễ dàng đánh giá liệu một mô hình có an toàn hay không và từ đó quyết định liệu nó có nên được xã hội và doanh nghiệp áp dụng hay không.
Hãy xem xét cụ thể.
Sử dụng việc học từ điển để phân tách các mô hình ngôn ngữ
Trước hết, chỉ riêng đối với các mô hình ngôn ngữ, tính không thể giải thích được của nó chủ yếu được phản ánh ở chỗ hầu hết các nơ-ron trong mạng đều là "đa nghĩa".
Nghĩa là, họ có thể phản ứng với nhiều thứ không liên quan.
Ví dụ: một nơ-ron trong mô hình ngôn ngữ nhỏ sẽ hiển thị khả năng kích hoạt mạnh mẽ cho các nội dung khác nhau như trích dẫn học thuật, hội thoại tiếng Anh, yêu cầu HTTP và văn bản tiếng Hàn cùng một lúc.
Điều này sẽ khiến chúng ta không thể hiểu được các chức năng và tương tác cụ thể của từng phần nhỏ của mạng lưới thần kinh, khiến chúng ta không thể suy ra hành vi của toàn bộ mạng.
Vậy điều gì gây ra tính đa nghĩa?
Ngay từ năm ngoái, Anthropic đã suy đoán rằng một yếu tố tiềm năng là “sự chồng chất”.
Điều này đề cập đến hoạt động của mô hình trong việc nén nhiều khái niệm không liên quan vào một số lượng nhỏ tế bào thần kinh.
Đồng thời, Anthropic cũng chỉ ra rằng việc học từ điển - rút ra những đặc điểm thiết yếu nhất của sự vật, mà cuối cùng cho phép chúng ta tiếp thu những kiến ​​thức mới như tra từ điển, chính là giải pháp cho vấn đề này.
Trước đó, họ đã đề xuất một mô hình đồ chơi xếp chồng và đã chứng minh:
 Nếu một bộ tính năng hữu ích cho mô hình còn thưa thớt trong dữ liệu huấn luyện thì mạng lưới thần kinh có thể bổ sung một cách tự nhiên trong quá trình huấn luyện. Dựa trên mô hình đồ chơi này, họ đề xuất ba chiến lược để tìm ra một tập hợp đặc điểm thưa thớt và có thể diễn giải được: một là tạo ra một mô hình không có sự chồng chất và sau đó kích hoạt tính thưa thớt bằng cách khuyến khích nó;
Thứ hai là sử dụng việc học từ điển để tìm ra cơ sở tính năng cực kỳ hoàn chỉnh trong các mô hình thể hiện sự chồng chất;
Thứ ba là trộn hai phương pháp đầu tiên.
Các thí nghiệm đã chứng minh rằng phương pháp một không đủ để loại bỏ tính đa nghĩa, trong khi phương pháp hai có vấn đề nghiêm trọng về quá khớp.
Vì vậy, ở đây, nhóm đã sử dụng một thuật toán học từ điển yếu được gọi là bộ mã hóa tự động thưa thớt.
Nó có khả năng tạo ra các đặc điểm đã học từ một mô hình đã được đào tạo, cung cấp một đơn vị phân tích đồng nhất về mặt ngữ nghĩa hơn chính các nơ-ron mô hình.
Nhìn chung, thuật toán được xây dựng dựa trên nhiều nghiên cứu trước đó, đặc biệt là về việc sử dụng phương pháp học từ điển để kích hoạt mạng lưới thần kinh và giải mã.
Bộ mã hóa thu được đã đạt được "thành công thuyết phục" trong việc trích xuất các đặc điểm có thể hiểu được từ ngăn xếp.
Cụ thể, Anthropic sử dụng máy biến áp một lớp MLP với 512 nơ-ron, bằng cách đào tạo bộ mã hóa tự động thưa thớt về kích hoạt MLP với 8 tỷ điểm dữ liệu và cuối cùng phân tách kích hoạt MLP thành các tính năng tương đối dễ hiểu với hệ số mở rộng. Phạm vi có thể tăng từ 1x (512) tính năng) đến 256x (131072 tính năng).
Nhóm Anthropic đã tập trung tất cả phân tích khả năng diễn giải của họ vào một lần chạy duy nhất có tên là A/1, chứa tổng cộng 4.096 tính năng, mỗi tính năng có một ý nghĩa được chú thích có thể được kích hoạt thủ công theo ý muốn.
Đây là một hình dung của chúng:
Tích hợp phát hành báo cáo dài, 7 kết luận chính
Hiện tại, Anthropic đã công bố tất cả các kết quả trên dưới dạng báo cáo.
Tiêu đề của báo cáo là "Hướng tới tính đơn nghĩa: Phân tách các mô hình ngôn ngữ bằng cách học từ điển".
Bài viết rất dài và được chia làm 4 phần, cụ thể:
Đặt vấn đề, động lực nghiên cứu cũng như bộ biến áp và bộ mã hóa tự động thưa thớt mà họ đã đào tạo.
Một cuộc điều tra chi tiết về các đặc điểm, một “bằng chứng về sự tồn tại”, chứng minh rằng các đặc điểm mà họ phát hiện ra thực sự là các đơn vị nguyên nhân cụ thể về mặt chức năng.
Phân tích toàn cầu cho thấy các đặc điểm thu được có thể giải thích được và chúng có thể giải thích một phần quan trọng của lớp MLP.
Phân tích hiện tượng mô tả một số thuộc tính của các đối tượng, bao gồm khả năng phân tách đối tượng, tính phổ quát, v.v. và cách chúng tạo thành một hệ thống thú vị tương tự như "automata trạng thái hữu hạn".
Nhìn chung có 7 kết luận chính:
1. Chúng ta có thể sử dụng bộ mã hóa tự động thưa thớt để trích xuất các đặc điểm ngữ nghĩa tương đối đơn lẻ, nhưng hầu hết các đặc điểm đã học đều tương đối dễ hiểu.
2. Bộ mã hóa tự động thưa thớt tạo ra các đặc điểm có thể hiểu được mà về cơ bản là vô hình trong cơ sở tế bào thần kinh.
3. Chức năng mã hóa tự động thưa thớt có thể được sử dụng để can thiệp và hướng dẫn việc tạo ra máy biến áp.
Ví dụ: kích hoạt tính năng Base64 sẽ khiến mô hình tạo văn bản Base64 và kích hoạt tính năng văn bản tiếng Ả Rập sẽ tạo ra văn bản tiếng Ả Rập.
4. Bộ mã hóa tự động thưa thớt tạo ra các tính năng tương đối chung. Các tính năng giống nhau hơn là giống với các nơ-ron mô hình của chính chúng (tương ứng với phần “Universality”).
5. Khi chúng tôi tăng kích thước của bộ mã hóa tự động, các tính năng dường như bị "tách ra". Ví dụ: một tính năng Base64 trong một từ điển nhỏ sẽ được chia thành ba trong một từ điển lớn hơn, mỗi tính năng có một ý nghĩa tinh tế hơn nhưng vẫn có thể hiểu được (tương ứng với phần "Khả năng phân đoạn tính năng").
6. Chỉ 512 nơ-ron có thể biểu diễn hàng chục nghìn tính năng.
7. Các tính năng có thể được kết nối trong một hệ thống tương tự như "máy tự động trạng thái hữu hạn" để hoàn thành các hành vi phức tạp (chẳng hạn như tạo các hàm HTML).
Một điều nữa
Tại khu vực bình luận, một số cư dân mạng bình luận:
Tế bào thần kinh giống như một chiếc hộp bí ẩn, và công việc của Anthropic tương đương với việc nghiên cứu cách nhìn vào bên trong chiếc hộp.
Rõ ràng, công việc này chỉ là sự khởi đầu——
Anthropic cũng đang đẩy mạnh tuyển dụng các nhà nghiên cứu và kỹ sư liên quan đến khả năng giải thích.
Nếu bấm vào sẽ thấy mức lương dao động từ 250.000 USD (khoảng 1,8 triệu nhân dân tệ) đến 520.000 USD. Nội dung nghiên cứu có liên quan chặt chẽ đến báo cáo trên.
Liên kết báo cáo: https://transformer- Circuits.pub/2023/monosemantic-features/index.html
Link tham khảo: https://twitter.com/anthropicai/status/1709986949711200722