Mô hình nền tảng Doubao 2.1 Pro ra mắt, bản cập nhật 0915. API đã được triển khai đầy đủ trên Hỏa Sơn Chu. Lần nâng cấp này tập trung vào bốn hướng: giao bài toán qua Agent, viết code đa phương thức, hiểu đa phương thức và tối ưu chi phí suy luận.

Cải tiến ở mảng Agent

Trong các tình huống cần gọi công cụ nhiều vòng, tra cứu tài liệu trên Internet rồi mới đưa ra báo cáo, mô hình đã được tăng cường năng lực truy xuất bằng chứng và kiểm tra tính đúng đắn của dữ liệu, ảo giác giảm rõ rệt. Ví dụ chính thức đưa ra là mảng nghiên cứu đầu tư tài chính: mô hình có thể tự tách nhỏ nhu cầu nghiên cứu, tìm kiếm nguồn dữ liệu rồi mô hình hóa và phân tích lại; bản nháp tạo ra gần với trình độ của một nhà phân tích. Để xác minh một nhận định trong báo cáo tài chính của một công ty xe, mô hình đã điều phối hơn 500 Agent con, truy xuất hơn 1000 trang web và đối chiếu chéo nhiều nguồn như lộ trình hàng hải và ảnh vệ tinh. Năng lực kiểu “không chỉ tin một phía, mà xác minh chéo đa nguồn” này có giá trị trực tiếp khi doanh nghiệp làm thẩm định (due diligence) và lập báo cáo nghiên cứu.

Coding đa phương thức

Thay đổi hữu ích nhất lần này có lẽ là khả năng viết code từ hình ảnh. Giờ đây mô hình có thể trực tiếp đọc hiểu bản thiết kế, bản vẽ kỹ thuật thậm chí cả bản ghi thao tác màn hình, rồi chuyển thông tin thị giác thành mã front-end. Demo chính thức cho thấy một kịch bản: đưa cho mô hình một đoạn video ghi màn hình kèm vài bản phác thảo để nó phát triển trang giao diện di động cho một hệ thống ERP cũ không có tài liệu—mô hình đã “đọc hiểu” 280.000 dòng code Java và khôi phục trực tiếp được trang giao diện di động chạy được.

Trong việc hiểu kho mã nguồn, mô hình đã tự sửa lỗi và chạy test cho game mã nguồn mở Luanti (khoảng 387.000 dòng mã), 83% nhiệm vụ đạt chuẩn có thể gộp vào. Con số này đáng chú ý với các nhà phát triển thường xuyên phải khoanh vùng lỗi trong dự án quy mô lớn và sửa bug xuyên tệp.

Các nâng cấp khác

Ở mảng hiểu đa phương thức, năng lực suy luận bằng video được tăng cường: có thể xác định vị trí bằng chứng trong video và tích hợp thông tin xuyên nhiều khung hình. Với nhận thức hình ảnh, khả năng nhận diện vật thể 3D (chi tiết CAD, các thành phần trong engine game) và phân tích dữ liệu dày đặc gồm hình ảnh + văn bản (bản vẽ kỹ thuật, bảng biểu báo cáo tài chính) đã có cải thiện rõ rệt.

Về chi phí, mức tiêu hao Token cho suy luận hình ảnh và video giảm hơn 30% so với thế hệ trước.

Về sử dụng API, có hai lối vào: gọi Doubao-Seed-2.1-pro-0915 để khóa phiên bản; gọi Doubao-Seed-Evolving sẽ tự theo dõi phiên bản mới nhất, không cần đổi Model ID. Công việc của Doubao và TRAE cũng đã được đồng bộ tích hợp.

Bài viết chính thức: https://mp.weixin.qq.com/s/Fp_mgF6wxMk0bkUVBqOKqA