Gergely Orosz cho thấy giá của Jev trên trang tìm kiếm mới của mình, với hóa đơn 0 đô la sau khi xử lý hơn 1 triệu token.
Điểm chính
Gergely Orosz cho thấy hóa đơn 0 đô la cho hơn 1 triệu token trên trang tìm kiếm mới của mình
Orosz đăng con số này trên X và nói giá của Jev được tính “theo hàng tỷ token chứ không phải hàng triệu”, trong khi bảng giá của OpenAI niêm yết riêng chi phí cho token đầu vào và đầu ra.
Tìm kiếm tiêu tốn nhiều token, vì lời nhắc, các bước truy xuất, logic xếp hạng và câu trả lời cuối cùng đều cộng dồn
Cần xem Jev có duy trì được mức chi phí tương tự với khối lượng công việc lớn hơn, lưu lượng ổn định hơn và các tác vụ khó hơn hay không
Orosz đăng con số này trên X và mô tả cách tính phí của Jev là “theo tỷ”. Bảng giá của OpenAI cho thấy phí riêng cho token đầu vào và đầu ra.
Giá của Jev biến hóa đơn nhỏ thành cuộc chiến lớn hơn về giá AI Search
Ảnh chụp màn hình hóa đơn $0 có giá trị nhỏ về mặt tiền bạc, nhưng chạm đúng một điểm nhạy cảm của các sản phẩm AI Search vì tìm kiếm tiêu tốn nhiều token. Prompt, các bước truy xuất, logic xếp hạng và câu trả lời cuối cùng đều cộng dồn lại.
Nhiều nhóm đã nhận ra rằng chất lượng mô hình chỉ là một phần trong quyết định mua hàng.
Câu hỏi khó hơn là liệu một công cụ có còn rẻ khi người dùng thực sự truy vấn nó suốt cả ngày hay không. Một dịch vụ giữ được chi phí thấp có thể cung cấp gói miễn phí, hấp thụ chi phí thử nghiệm và trì hoãn việc tăng giá, giúp nhà phát triển có dư địa để cải tiến.
Ví dụ của Orosz cho thấy phần lớn người dùng ít thấy được khía cạnh kinh tế của mô hình đến mức nào.
Token là một mẩu văn bản nhỏ, không phải cả một từ, và các nhà cung cấp tính phí dựa trên tổng số token được xử lý. Vượt mốc 1 triệu token mà không thấy phát sinh chi phí cho thấy có thể đang có trợ giá mạnh, mức phí mỗi token rất thấp, bộ nhớ đệm được sử dụng nhiều hoặc một ngưỡng tính phí khiến mức sử dụng nhỏ bị làm tròn xuống.
Cũng nên đọc: Startup phần cứng AI Positron có được khách hàng hứa sẽ quay lại mua thêm
Từ hóa đơn mô hình cao cấp đến áp lực giá của Jev đối với AI Search
Các sản phẩm có nhiều truy vấn ngắn có thể phát sinh chi phí tăng theo mức sử dụng.
Một công cụ tìm kiếm, trợ lý lập trình hoặc bot hỗ trợ có thể trông rẻ khi thử nghiệm nhưng trở nên đắt đỏ khi mức sử dụng tăng, vì vậy các nhà phát triển tìm kiếm khả năng dự đoán chi phí không kém gì hiệu năng thuần túy.
Nếu nhà cung cấp tính phí theo tỷ token thay vì các khối nhỏ hơn, điều đó sẽ thay đổi cách các nhóm nhìn nhận biên lợi nhuận. Khách hàng nhỏ có thể không bận tâm đến việc tiết kiệm những phần nhỏ của một xu cho mỗi truy vấn, nhưng khi sản phẩm mở rộng quy mô, các khoản nhỏ ấy nhanh chóng cộng dồn.
Giá cả đã trở thành một tín hiệu về sản phẩm, bên cạnh điểm chuẩn và cửa sổ ngữ cảnh dài hơn.
Cuộc cạnh tranh mới xoay quanh việc liệu có thể triển khai rộng rãi một mô hình mà không biến mỗi tính năng thành một khoản mục trong ngân sách hay không. Với các nhà phát triển độc lập, hóa đơn bất ngờ $5 có ý nghĩa lớn hơn nhiều so với với Microsoft hay Google, khiến cơ chế chi phí của AI Search đặc biệt đáng quan tâm với các nhà phát triển cá nhân và nhóm nhỏ.
Những điều Jev vẫn cần chứng minh về giá
Một ảnh chụp màn hình không thể giải đáp câu hỏi này.
Jev cần chứng minh liệu cơ cấu chi phí tương tự có được duy trì với khối lượng công việc lớn hơn, lưu lượng ổn định hơn và các tác vụ khó hơn hay không. Giá rẻ có thể đến từ suy luận hiệu quả, các lựa chọn kiến trúc như truy xuất và định tuyến, hoặc các chiến thuật khuyến mại không kéo dài.
Người mua sẽ muốn biết Jev rẻ vì hoạt động hiệu quả, vì định tuyến công việc theo cách khác hay vì chấp nhận giảm biên lợi nhuận để giành thị phần.
Hóa đơn token thấp hơn chỉ có ích nếu câu trả lời vẫn hữu dụng, bởi sự đánh đổi về chất lượng rất quan trọng khi các hệ thống tìm kiếm kết hợp mô hình với truy xuất.
Cách tính phí theo tỷ token thay đổi thước đo cho AI Search
Nếu Jev tính phí theo các khối token rất lớn, trong khi OpenAI và nhiều đối thủ báo giá theo đơn vị nhỏ hơn, thì việc một nhà phát triển vượt mốc 1 triệu token mà vẫn thấy hóa đơn $0 cho thấy cách tính phí của Jev có thể không tăng theo mức sử dụng thấp như cách tính phí API tiêu chuẩn.
Orosz cho biết Jev tính phí theo tỷ token, không phải triệu token, đồng thời nói rằng một LLM đã tính phí từ $3 đến $5 cho hơn 1 triệu token trên trang tìm kiếm mới của ông. Điều đó giúp lý giải vì sao hóa đơn vẫn hiển thị $0.00.
Với các ứng dụng tìm kiếm thực hiện nhiều lệnh gọi nhỏ, việc tính những lệnh gọi đó như các phần rất nhỏ của một khối tỷ token cho phép các nhóm thử nghiệm tính năng mà không phải lo từng xu cho mỗi truy vấn. Những điều cần theo dõi tiếp theo là bảng giá đầy đủ hơn hoặc các nghiên cứu tình huống của Jev.
Cho đến lúc đó, bài đăng hôm thứ Bảy là dấu mốc cho thấy giá cả, chứ không chỉ chất lượng mô hình, sẽ là chiến trường tiếp theo của AI Search.
Trong bài đăng, Orosz cho biết một LLM đã tính phí từ $3 đến $5 cho mức sử dụng đó, trong khi Jev tính phí theo tỷ token thay vì triệu token. Chi tiết về giá này giúp lý giải vì sao hơn 1 triệu token vẫn có thể đi kèm hóa đơn $0.00.
Đọc tiếp: Supermicro cung cấp cho các công ty giải pháp tiết kiệm bộ nhớ cho hàng nghìn cuộc trò chuyện