Nghiên cứu của Nous xác nhận: Bộ phân đoạn có thể được mô phỏng bằng byte thuần, kỷ nguyên không cần phân đoạn cho mô hình ngôn ngữ lớn sắp đến
Bài báo của Nous Research chỉ ra rằng, bộ phân đoạn mà các mô hình ngôn ngữ lớn như GPT phụ thuộc lâu dài có khả năng được thay thế trong tương lai. Thông qua việc thực hiện các thử nghiệm có kiểm soát với quy mô 1.7B tham số, nhóm nghiên cứu đã hệ thống lượng hóa được lợi thế hiệu suất của cơ chế phân đoạn, chứng minh tính khả thi của con đường mô phỏng bằng byte thuần.
Tại sao điều này quan trọng: Phân đoạn (Tokenization) là bước cơ bản mà các mô hình lớn như GPT sử dụng để xử lý văn bản, nếu mô hình lớn không cần phân đoạn được xác nhận thành công, sẽ có ảnh hưởng sâu rộng đến phương pháp huấn luyện, hiệu suất suy diễn và khả năng đa ngôn ngữ của các mô hình AI hiện tại. Đội ngũ Trung Quốc đã có những đột phá quan trọng trong lĩnh vực này.
#NousResearch #AI #大模型 #分词 #开源