Theo David Abitbol, người đứng đầu bộ phận vận hành AI của Revolut, công ty đã giảm 90% chi phí AI bằng cách chuyển từ các dịch vụ thương mại của OpenAI và Anthropic sang các mô hình GLM của Trung Quốc chạy trên hạ tầng chuyên dụng. Hệ thống này phục vụ khoảng 2.000 kỹ sư—và khoản tiết kiệm được báo cáo đi kèm với tốc độ phản hồi nhanh hơn và thời gian phát triển ngắn hơn.
Những điểm chính
Revolut chạy GLM 5.3 trên 56 GPU NVIDIA B200.
Chi phí xử lý trung bình là 0,30 USD cho mỗi triệu token.
Độ trễ phản hồi ban đầu giảm 88% mà không cần bổ sung GPU.
Các mô hình được quản lý nội bộ hoạt động với cơ chế kiểm soát quyền truy cập và theo dõi hoạt động.
Revolut đã cắt giảm chi phí AI như thế nào
Cấu hình của Revolut xoay quanh GLM 5.3, do nhóm Trung Quốc Z.ai phát triển, trước đây có tên là Zhipu AI. Thay vì mặc định dựa vào các dịch vụ mô hình thương mại, Revolut chạy mô hình trên hạ tầng chuyên dụng do công ty kiểm soát.
Abitbol cho biết 56 GPU NVIDIA B200, dựa trên kiến trúc Blackwell, xử lý khối lượng công việc cho khoảng 2.000 kỹ sư. Hạ tầng được tinh chỉnh để phản hồi nhanh và xử lý nhiều yêu cầu cùng lúc.
Sự chuyển đổi này không có nghĩa là mọi công cụ AI bên ngoài đều biến mất. Claude Code, Codex và Gemini vẫn khả dụng, chủ yếu cho những tác vụ mà chúng mang lại lợi ích rõ rệt so với các mô hình vận hành nội bộ.
Phản hồi nhanh hơn trên cùng phần cứng
Từ tháng 4 đến tháng 8 năm 2026, Revolut đã giảm thời gian đến token đầu tiên (TTFT) từ 14,26 giây xuống còn 1,68 giây mà không thay đổi số lượng GPU. Độ trễ ban đầu được cải thiện 88%, trong khi số yêu cầu mỗi giây tăng 76%.
TTFT đo thời gian chờ trước khi mô hình bắt đầu phản hồi. Abitbol xem đây là chỉ số hiệu suất quan trọng nhất, với mục tiêu dưới ba giây; quá năm giây, phản hồi bắt đầu có cảm giác chậm. Ông cho biết tốc độ tạo khoảng 200 token mỗi giây là đủ cho công việc kỹ thuật thông thường, vốn ngày càng sử dụng các tác tử AI có kết quả được nhà phát triển xem xét sau đó.
Một tối ưu hóa quan trọng là lượng tử hóa FP4, lưu trữ giá trị bằng bốn bit thay vì tám bit như FP8, qua đó giảm yêu cầu bộ nhớ. Theo Abitbol, chuyển sang FP8 sẽ cần thêm khoảng 40% tài nguyên GPU mà không cải thiện đáng kể độ chính xác đối với khối lượng công việc của các nhà phát triển tại Revolut.
Revolut cũng đặt mục tiêu tỷ lệ cache KV đạt trên 90% đối với các tác vụ lập trình. Cache Key-Value lưu giữ kết quả trung gian để hệ thống có thể tái sử dụng thông tin đã xử lý, giảm độ trễ và tải GPU khi nhà phát triển làm việc với các mẫu mã lặp lại.
Cần cân bằng dung lượng bộ nhớ đệm, độ dài ngữ cảnh và số yêu cầu đồng thời. Abitbol lưu ý rằng một số mô hình hỗ trợ ngữ cảnh lên đến một triệu token, nhưng ngữ cảnh dài hơn tiêu tốn nhiều bộ nhớ hơn và có thể hạn chế số yêu cầu xử lý đồng thời. Revolut giới hạn lượng thông tin được xử lý khi không cần thêm ngữ cảnh. Các kỹ thuật khác đang được cân nhắc gồm giải mã suy đoán và tối ưu hóa các giai đoạn xử lý yêu cầu.
Chi phí token thấp hơn và thời gian phát triển ngắn hơn
Theo Revolut, chi phí xử lý trung bình của công ty là 0,30 USD cho mỗi triệu token, trong khi tốc độ lập trình tăng 60% và thời gian phát triển được rút ngắn 70%. So với khoản chi trước đây cho các dịch vụ của OpenAI và Anthropic, tổng chi tiêu AI hiện nay của công ty chỉ còn khoảng một phần mười.
Những cải thiện này tiếp nối đợt triển khai Gemini trước đó vào tháng 1 năm 2025, khi dữ liệu nội bộ ban đầu cho thấy thời gian lập trình giảm 20% và thời gian phát triển giảm 10%.
Ban đầu, hiệu quả kinh tế của Claude Code chưa thực sự thuyết phục, vì mức sử dụng cao khiến công ty phải áp đặt giới hạn chi tiêu. Revolut tiếp tục cắt giảm chi phí AI bằng cách chuyển sang các mô hình GLM do nội bộ quản lý, áp dụng những kỹ thuật như lượng tử hóa, quản lý bộ nhớ và tối ưu hóa suy luận để khai thác hiệu suất cao hơn từ các bộ tăng tốc hiện có trước khi đầu tư thêm phần cứng.
Vận hành nội bộ giúp kiểm soát luồng dữ liệu
Việc sử dụng một mô hình do Trung Quốc phát triển không nhất thiết có nghĩa là Revolut gửi yêu cầu đến đơn vị tạo ra mô hình. Trọng số mô hình được tải xuống và chạy trên hạ tầng được lựa chọn, cho phép Revolut kiểm soát luồng dữ liệu dùng cho quá trình suy luận.
Abitbol mô tả một kiến trúc được xây dựng dựa trên cơ chế cô lập (sandbox), các quy tắc phân quyền và sự giám sát của con người. Các chính sách xác định những thao tác nào của tác tử được phép hoặc bị chặn, trong khi dữ liệu giám sát ghi lại hoạt động để giúp tái dựng những gì hệ thống đã thực hiện và phát hiện bất thường.
Revolut kết hợp các mô hình được vận hành nội bộ với quyền truy cập được kiểm soát và các hoạt động có thể truy vết. Các tác tử lập trình hoạt động theo những chính sách phân quyền, còn dữ liệu giám sát hỗ trợ việc theo dõi hoạt động của chúng.
Bài viết được thực hiện với sự hỗ trợ của trí tuệ nhân tạo và được nhóm biên tập rà soát.