Google âm thầm đưa Gemini 4 Carbon, chatbot AI tiếp theo của hãng, lên Arena — một trang web nơi mọi người bình chọn giữa hai câu trả lời ẩn của bot — để xem người dùng có thích nó trước khi ra mắt hay không.
Những điểm chính
TestingCatalog đăng rằng Argon 4, được liên kết với Gemini 4 Carbon, đã hoạt động trên Arena sau ngày 31 tháng 10
Arena tiến hành các lượt so sánh cặp đôi mù, trong đó người dùng gửi một câu lệnh và chọn câu trả lời tốt hơn trong hai câu trả lời ẩn danh
Một lượt chạy ẩn trên Arena cho phép phòng thí nghiệm thu thập một mẫu phản ứng đa dạng trước khi chốt chiến lược định vị công khai
Các lượt bình chọn trên Arena ưu ái những mô hình trả lời trực tiếp, làm theo hướng dẫn và hoàn tất đủ nhanh để người dùng không cảm thấy bị trễ
TestingCatalog đăng rằng Argon 4 đã hoạt động trên Arena từ thứ Bảy, đồng thời liên kết bí danh này với Gemini 4 Carbon và xác định thời điểm quá trình thử nghiệm bắt đầu. Google kinh doanh các mô hình AI và công cụ dành cho người tiêu dùng dưới thương hiệu Gemini, còn Arena đã trở thành nơi phổ biến để các phòng thí nghiệm so sánh những hệ thống chưa phát hành với đối thủ mà không cần công bố toàn bộ tài liệu kỹ thuật.
Gemini 4 Carbon bước ra công chúng
TestingCatalog cho biết mô hình ẩn này có vẻ là một trong những hệ thống mạnh nhất trong số các ứng viên mới xuất hiện gần đây. Nhận định đó không tự nó xác nhận mô hình thuộc về Google, nhưng đã tiết lộ sự hiện diện và hiệu suất tương đối của Argon 4.
Arena tiến hành so sánh từng cặp một cách ẩn danh: người dùng gửi một câu lệnh, xem hai câu trả lời không nêu danh tính rồi chọn câu tốt hơn. Phương pháp này ghi nhận thị hiếu, tốc độ và mức độ hữu ích cảm nhận được theo những cách mà các bài kiểm tra tĩnh thường bỏ sót, dù không đo lường mọi năng lực.
Google từng triển khai theo từng giai đoạn, đôi khi để lộ tên mô hình hoặc tên mã trên các trang sản phẩm, công cụ dành cho nhà phát triển và nền tảng đo điểm chuẩn trước khi chính thức phát hành. Khoảng thời gian từ khi thông tin bị rò rỉ công khai đến khi ra mắt chính thức có thể là vài giờ, vài ngày hoặc lâu hơn.
Đọc thêm: Protein AI có gắn hình mờ của Google DeepMind vượt qua các bài kiểm tra liên kết trong phòng thí nghiệm thực tế
Từ đánh giá nội bộ đến bảng xếp hạng công khai
Trong năm qua, cuộc đua mô hình đã chuyển từ các bảng đo điểm chuẩn do phòng thí nghiệm biên soạn sang những thử nghiệm đối đầu công khai. Các bài kiểm tra tĩnh vẫn quan trọng, nhưng hiện nay nhiều nhà phát triển theo dõi bảng xếp hạng lựa chọn trực tiếp vì chúng cho thấy mô hình xử lý các câu lệnh lộn xộn như thế nào.
Sự chuyển dịch đó đã làm thay đổi động lực của Google, OpenAI và Anthropic, bởi các công ty không còn có thể chỉ dựa vào một bài đăng ra mắt được trau chuốt.
Mô hình phải vượt qua hàng nghìn lượt so sánh thông thường từ những người dùng quan tâm đến giọng điệu, cách từ chối, độ trễ và khả năng lập trình không kém gì điểm số suy luận thuần túy. Google đã vận hành Gemini trên các dịch vụ trò chuyện cho người tiêu dùng, công cụ không gian làm việc và API dành cho nhà phát triển. Vì vậy, một mô hình mạnh hơn trong giai đoạn giữa chu kỳ có thể ảnh hưởng đến cả hình ảnh thương hiệu lẫn quyết định mua hàng của doanh nghiệp, khi người mua so sánh chi phí, tốc độ, khả năng sử dụng công cụ và mức độ ổn định để tích hợp mô hình vào phần mềm đang vận hành.
Thử nghiệm trên Arena có thể định hình lại cách ra mắt như thế nào
Một đợt chạy ẩn trên Arena giúp phòng thí nghiệm thu thập nhiều phản hồi khác nhau trước khi chốt chiến lược định vị công khai.
Nếu Gemini 4 Carbon đạt kết quả tốt, Google có thể quảng bá nó như một bước tiến đã được chứng minh.
Nếu mô hình gặp khó khăn với lập trình hoặc các câu lệnh dài, các kỹ sư vẫn còn thời gian điều chỉnh cách hoạt động trước khi chính thức phát hành. Ngày nay, các vụ rò rỉ mô hình có sức nặng hơn những tin đồn về điểm chuẩn trước đây, bởi các bài kiểm tra lựa chọn công khai cho thấy người thật xếp hạng trợ lý AI như thế nào khi thương hiệu được ẩn đi.
Lượt bình chọn trên Arena ưu ái phong cách và tốc độ
Google sử dụng Arena vì thử nghiệm ẩn danh loại bỏ tên thương hiệu và yêu cầu người dùng chỉ đánh giá câu trả lời. Trên thực tế, Arena hoạt động như một nhóm tập trung trực tiếp dành cho các mô hình tiên tiến nhất.
Một mô hình như Gemini 4 Carbon sẽ giành được lượt bình chọn khi trả lời trực tiếp, làm theo hướng dẫn và hoàn tất đủ nhanh để người dùng không cảm thấy bị trễ. Đây là những đặc điểm quan trọng với khách hàng Google Cloud, bởi một mô hình tạo cảm giác tốt hơn trong các cuộc so sánh mở thường cần ít tinh chỉnh câu lệnh hơn trong ứng dụng thực tế.
Điểm hạn chế là Arena đánh giá hành vi có thể quan sát được chứ không phải độ tin cậy tiềm ẩn. Vì vậy, Google vẫn phải công bố giới hạn API, giá cả và các biện pháp kiểm soát an toàn cho nhà phát triển trước khi Gemini 4 Carbon có thể trở thành lựa chọn mặc định nghiêm túc của doanh nghiệp.
Điều cần theo dõi tiếp theo là một trang chính thức của Google, bản cập nhật ứng dụng Gemini hoặc bài đăng dành cho nhà phát triển, qua đó biến bí danh Argon 4 thành tên một sản phẩm cụ thể.
Đọc tiếp: Google Cloud đưa ra 3 biện pháp giúp doanh nghiệp kiềm chế chi tiêu trước khi hóa đơn AI tăng vọt