Meta muốn giảm chi phí vận hành các tác nhân AI. Ngày 9 tháng 11, công ty ra mắt Muse Ember, một mô hình gọn nhẹ có thể thực hiện những tác vụ lặp đi lặp lại khiến các tác nhân AI luôn bận rộn. Không giống các mô hình khác, Ember không nhắm đến việc giải quyết những tác vụ phức tạp mà tập trung xử lý công việc thường nhật với chi phí thấp nhất có thể.

Được tạo ra để xử lý khối lượng công việc lớn trong khi Muse Wonder đang lên kế hoạch

Meta tạo ra Ember để xử lý những công việc thường nhật giúp các tác nhân AI vận hành. Mô hình này có thể gọi các công cụ phần mềm khác, chuyển yêu cầu đến đúng hệ thống, trích xuất thông tin từ tài liệu và xử lý các tệp dài. Ember cũng có thể đảm nhận những công việc lập trình nhỏ hơn, chẳng hạn như chạy thử nghiệm và thực hiện các bản sửa lỗi có mục tiêu.

Để đưa ra những quyết định phức tạp hơn, Meta kết hợp Muse Wonder, một mô hình suy luận vượt trội, với Ember. Wonder quyết định cách tiếp cận một nhiệm vụ, còn Ember thực hiện các thao tác nhỏ hơn cần thiết để hoàn thành nhiệm vụ đó. Theo lời Meta:

“Muse Wonder lập kế hoạch, Muse Ember xử lý khối lượng công việc.”

Ember là phiên bản thứ tư trong dòng Muse, sau Muse Spark, Muse Glimmer và Muse Wonder. Các nhà phát triển có thể truy cập Ember thông qua Meta Model API và Muse Code. Theo bảng giá, Meta tính phí $0.1 cho mỗi triệu token đầu vào, $0.004 cho mỗi triệu token đầu vào được lưu trong bộ nhớ đệm và $0.5 cho mỗi triệu token đầu ra.

Ember có cửa sổ ngữ cảnh một triệu token, cho phép xử lý các tài liệu và cơ sở mã lớn hơn. Mô hình này cũng có khả năng xử lý hình ảnh, âm thanh và video.

Những phát hiện của Artificial Analysis khi kiểm chứng các tuyên bố

Các bài kiểm tra độc lập cho thấy rõ mức độ lợi thế về chi phí của Ember. Theo Artificial Analysis, điểm Intelligence Index của Ember là 36, ngang bằng với Claude Haiku 5.5. Tuy nhiên, trong khi Ember chỉ tốn $0.14 cho mỗi tác vụ đánh giá chuẩn, Claude Haiku tốn $0.41. Các con số được nêu là chi phí ước tính cho các bài kiểm tra, không phải khoản phí cố định mà khách hàng phải trả. Ngoài ra, Ember đạt 68.1% trên AutomationBench-AA, ngang hàng với mô hình mạnh hơn của Meta là Muse Wonder.

Tuy nhiên, kết quả kiểm tra lập trình của Ember không nhất quán. Ember đạt kết quả tốt hơn Haiku trong Terminal-Bench 4.0, với điểm số lần lượt là 40.9% và 32.8%. Nhưng Haiku lại làm tốt hơn Ember trong FrontierCode 2.0, với điểm số lần lượt là 34.9% và 27.2%.

Kiến thức tổng quát cũng là một điểm yếu khác của Ember. Mô hình chỉ đạt độ chính xác 21.1% trong AA-Omniscience và bỏ qua 64% câu hỏi. Nhờ lập trường thận trọng, Ember giữ được điểm số ảo giác ở mức 17.4%.

Tác vụ AI của Meta Muse Ember với giá $0.14: Chi phí và hiệu suất so với Claude Haiku 5.5

Vì sao chi phí mỗi tác vụ mới là cuộc cạnh tranh đáng chú ý hiện nay

Mức giá thấp hơn của Ember xuất hiện đúng lúc các công ty đang xem xét lại chi tiêu cho công nghệ AI. Gartner dự đoán nhu cầu về các tác nhân và trợ lý AI sẽ đẩy mức chi tiêu lên $29.2 billion vào năm 2026, trong bối cảnh thị trường AI được dự báo đạt $2.7 trillion. Khi việc sử dụng công nghệ AI ngày càng tăng, BCG khuyến khích các công ty phần mềm cân nhắc tính phí theo tác vụ hoặc kết quả hoàn thành, thay vì chỉ tính phí cho mỗi người dùng được cấp phép. Tuy nhiên, tổ chức này cảnh báo không nên từ bỏ mô hình tính phí thuê bao truyền thống quá vội vàng.

Câu hỏi lớn hơn là liệu AI rẻ hơn có mang lại lợi ích cao hơn hay không. McKinsey cho rằng chỉ riêng chi phí token không thể đo lường giá trị kinh doanh. Giá thấp hơn cũng có thể khuyến khích các công ty sử dụng AI nhiều hơn. IDC nhận thấy 67% doanh nghiệp đã chi vượt ngân sách dành cho tác nhân AI. Công ty nghiên cứu này dự đoán chi phí cho mỗi hành động của tác nhân sẽ giảm 95% vào năm 2030, ngay cả khi tổng chi phí cung cấp token tăng gấp 487 lần.

Các câu hỏi về ROI, độ tin cậy và giám sát

Các đối tác ban đầu của Meta nhấn mạnh tốc độ của Ember. Giám đốc công nghệ của Cloudflare, Dane Knecht, cho biết mô hình này chạy:

“nhanh hơn tới 30%”

Chak Pothina, người phụ trách suy luận tại You.com, cho biết:

“p95 là 2.2 giây”

Yashodha Bhavnani, lãnh đạo tại Box, cho biết Ember có thể đánh giá hợp đồng:

“đối chiếu từng điều khoản với cẩm nang đàm phán của công ty”

Những kết quả này rất đáng khích lệ, nhưng được ghi nhận qua các thử nghiệm của đối tác. Doanh nghiệp vẫn cần đánh giá hiệu suất của Ember trong chính hoạt động của mình.

Độ tin cậy không chỉ nằm ở tốc độ. FII Institute dẫn các kết quả khảo sát cho thấy 73% người trả lời lo ngại về quyền riêng tư và bảo mật dữ liệu AI. Trong khi đó, một khảo sát của McKinsey cho thấy chỉ khoảng 30% tổ chức đạt mức độ trưởng thành cao hơn trong quản trị AI tác nhân.

Áp lực chi phí không chỉ giới hạn ở bản thân các mô hình. Đợt phát hành trái phiếu trị giá $15 billion gần đây của Meta cho thấy chi phí xây dựng cơ sở hạ tầng AI rất lớn. Cryptopolitan cũng đã đưa tin về các khoản đầu tư ngày càng mở rộng của Meta vào trung tâm dữ liệu.

Nếu bạn đang đọc bài này, bạn đã đi trước một bước. Hãy tiếp tục dẫn đầu cùng bản tin của chúng tôi.