Tencent Hỗn Nguyên Mở Nguồn UniRL: Kết Hợp Mô Hình Lớn Với Mô Hình Phân Tán Trong Cùng Một Khung Tăng Cường Học

Đội ngũ Hỗn Nguyên của Tencent đã công bố mở nguồn UniRL, đây là giải pháp đầu tiên trong ngành kết hợp mô hình ngôn ngữ lớn (LLM) và mô hình phân tán vào cùng một khung tăng cường học sau đào tạo. UniRL tách rời kiến trúc mô hình và thuật toán đào tạo, cho phép các mô hình sinh văn bản, ngôn ngữ hình ảnh, hình ảnh và video chia sẻ vòng lặp đào tạo thống nhất. Đối với mô hình phân tán và mô hình khớp dòng, đội ngũ Hỗn Nguyên cũng giới thiệu thuật toán Flow-DPPO. Trước đây, quy trình đào tạo RL của mô hình ngôn ngữ lớn và mô hình phân tán không tương thích, UniRL đã lấp đầy khoảng trống này.

Tại sao điều này quan trọng: Việc mở nguồn UniRL có nghĩa là cơ sở hạ tầng RL cho đào tạo AI đa mô hình có thể được chia sẻ, giúp giảm đáng kể chi phí phát triển và duy trì các đường ống đào tạo nhiều mô hình.

#腾讯 #AI #开源 #大模型 #Web3