Đại học Carnegie Mellon cho biết một phương pháp huấn luyện AI có thể thay thế bốn bước riêng biệt, giúp các phòng thí nghiệm lớn xây dựng chatbot mạnh mẽ với chi phí thấp hơn và dễ dàng hơn mà không làm giảm hiệu năng.
Những điểm chính
Một bài báo của Đại học Carnegie Mellon và các cộng sự lập luận rằng một thuật toán dựa trên hàm hợp lý có thể đảm nhiệm tiền huấn luyện, huấn luyện giai đoạn giữa, tinh chỉnh có giám sát và học tăng cường
Nhà nghiên cứu Omar Sanseviero đăng bài báo lên X, còn phần tóm tắt trên arXiv gọi đây là tài liệu đáng đọc
Phần tóm tắt trên arXiv cho biết phương pháp này cải thiện sự cân bằng giữa độ chính xác và năng lực tính toán, đồng thời duy trì các khả năng rộng hơn trong những thử nghiệm có kiểm soát và ngoài thực tế
Các tác giả lập luận rằng có thể suy ra các mục tiêu học tăng cường bằng cách khớp hợp lý cực đại với các phân phối mục tiêu do mô hình tạo ra
Nhà nghiên cứu Omar Sanseviero đăng bài báo lên X vào thứ Bảy, gọi đây là tài liệu đáng đọc; phần tóm tắt arXiv gốc cho biết phương pháp này cải thiện sự đánh đổi giữa độ chính xác và chi phí tính toán, đồng thời duy trì năng lực rộng hơn qua các thử nghiệm có kiểm soát và trong thế giới thực.
Đại học Carnegie Mellon là một cơ sở nghiên cứu hàng đầu của Hoa Kỳ, nơi các nghiên cứu về học máy thường góp phần tạo nên những công cụ và lý thuyết mà các phòng thí nghiệm AI thương mại sau này áp dụng. Tuyên bố cốt lõi của bài báo không phải là mọi giai đoạn huấn luyện đều biến mất, mà là các giai đoạn có thể dùng chung một khuôn khổ toán học thay vì các hàm mục tiêu và hệ thống phần mềm riêng biệt.
Đại học Carnegie Mellon biến quá trình huấn luyện thành bài toán lập lịch
Hầu hết các mô hình lớn vẫn được huấn luyện theo từng giai đoạn.
Trước tiên, các phòng thí nghiệm đưa những bộ dữ liệu văn bản và hình ảnh khổng lồ vào mô hình trong giai đoạn tiền huấn luyện. Sau đó, họ điều chỉnh mô hình bằng dữ liệu chuyên biệt hơn trong giai đoạn huấn luyện giữa kỳ hoặc tinh chỉnh có giám sát, rồi sử dụng học tăng cường — một phương pháp thưởng cho các đầu ra đạt điểm cao theo một mục tiêu nhất định.
Bài báo lập luận rằng cách chia tách này là một thói quen, chứ không phải quy luật.
Các tác giả viết rằng có thể suy ra những mục tiêu học tăng cường phù hợp bằng cách khớp hợp lý cực đại với các phân phối mục tiêu do mô hình tạo ra. Trên thực tế, điều đó có nghĩa là một phòng thí nghiệm có thể trộn các bộ dữ liệu tĩnh với những lượt chạy mô hình tự tạo trong cùng một bộ huấn luyện, rồi tập trung quyết định dữ liệu nào được đưa vào quá trình chạy, với tỷ lệ bao nhiêu và vào thời điểm nào.
Điều này quan trọng vì các giai đoạn huấn luyện thường dẫn đến trùng lặp trong khâu kỹ thuật.
Các nhóm khác nhau duy trì những quy trình, checkpoint và quy tắc đánh giá riêng. Khi một phòng thí nghiệm thay đổi mục tiêu giữa chừng, họ cũng có nguy cơ đánh mất những năng lực đã có hoặc phải tốn thêm năng lực tính toán để khôi phục chúng.
Cũng nên đọc: Phần thưởng có thể kiểm chứng thúc đẩy bước chuyển quan trọng vượt ra khỏi RLHF tại các phòng thí nghiệm AI tiên phong
Từ các công thức theo từng giai đoạn đến một bộ huấn luyện duy nhất
Ý tưởng này xuất hiện khi các phòng thí nghiệm AI chịu áp lực ngày càng lớn phải giải trình cách sử dụng từng khoản chi cho huấn luyện.
Các mô hình lớn hơn khiến việc tuyển chọn dữ liệu, thiết kế phần thưởng và hậu huấn luyện trở nên tốn kém hơn, đặc biệt khi học tăng cường chuyển từ công việc căn chỉnh chuyên biệt sang tinh chỉnh mô hình phổ biến rộng rãi.
Áp lực đó đã làm thay đổi cách các phòng thí nghiệm nói về huấn luyện. Trong năm qua, các nhà phát triển mô hình đã chuyển từ khoe số lượng tham số sang nhấn mạnh hiệu quả chi phí, chất lượng token và những cải thiện nhờ hậu huấn luyện.
Bài báo này phù hợp với sự thay đổi đó vì xem vòng đời huấn luyện là một bài toán phân bổ tài nguyên, chứ không phải chuỗi các giai đoạn bất khả xâm phạm.
Bài báo cũng được công bố sau nhiều tháng tranh luận công khai về việc liệu hậu huấn luyện hiện có quan trọng hơn quy mô tiền huấn luyện thuần túy hay không. Huấn luyện hợp nhất không giải quyết dứt điểm tranh luận ấy, nhưng gợi ý một cách kết hợp cả hai gọn gàng hơn.
Một quy tắc hợp lý cực đại thay đổi RL ra sao
Trong bài báo, Đại học Carnegie Mellon và các cộng sự xem học tăng cường là một hình thức khác của việc điều chỉnh mô hình khớp với phân phối mục tiêu, thay vì coi đó là một nhóm thủ thuật huấn luyện riêng biệt.
Điều này cụ thể vì RL trong huấn luyện mô hình thường bao gồm việc lấy mẫu câu trả lời, chấm điểm rồi điều chỉnh mô hình theo hướng tạo ra hành vi có điểm cao hơn.
Các tác giả cho biết có thể viết lại chính vòng lặp đó trong khuôn khổ hợp lý cực đại, cùng họ phương pháp rộng hơn với cách huấn luyện dự đoán token tiếp theo tiêu chuẩn.
Với các phòng thí nghiệm AI như Anthropic hay OpenAI, lợi ích thực tế không nằm ở sự tao nhã. Đó là giảm số lần bàn giao giữa các khâu huấn luyện.
Một bộ huấn luyện duy nhất có thể giảm số lần chuyển đổi checkpoint, giao diện mô hình phần thưởng và các ranh giới giai đoạn mong manh vốn khiến những đợt chạy dài trở nên phức tạp. Với các nhóm hạ tầng, điều đó có thể đồng nghĩa với ít phần mềm bị trùng lặp hơn và lộ trình rõ ràng hơn để học liên tục, trong đó mô hình không ngừng cải thiện mà không cần đặt lại hoàn toàn.
Điều cần theo dõi tiếp theo là mức độ ứng dụng ngoài phạm vi bài báo.
Kết quả trên arXiv là một tuyên bố nghiên cứu, không phải đợt triển khai trong môi trường thực tế. Bằng chứng đầu tiên cho thấy huấn luyện hợp nhất có ý nghĩa sẽ xuất hiện nếu một phòng thí nghiệm lớn bắt đầu mô tả hệ thống hậu huấn luyện của mình theo cách này, hoặc nếu các bộ công cụ mã nguồn mở bổ sung huấn luyện kết hợp tĩnh và RL thành một mô hình mặc định.
Đọc tiếp: 3 chatbot AI hàng đầu đã phẫu thuật não chuột và mỗi chatbot chọn một phương pháp điều trị khác nhau