Amazon cho biết các trợ lý lập trình giá rẻ có thể học hỏi từ những trợ lý đắt đỏ

Amazon cho biết Amazon SageMaker AI, dịch vụ xây dựng ứng dụng của hãng, có thể dạy các trợ lý AI ít tốn kém hơn bắt chước những trợ lý đắt đỏ, giúp doanh nghiệp đẩy nhanh quá trình rà soát kỹ thuật và cắt giảm mạnh chi phí vận hành.
Điểm chính
Amazon SageMaker AI đã công bố quy trình chưng cất tri thức, huấn luyện các mô hình nhỏ hơn bắt chước hành vi nhiều bước của một tác tử AI tiên tiến
Phương pháp này sử dụng chưng cất tri thức ở cấp độ chuỗi, hay SeqKD, để chuyển các quyết định của tác tử giáo viên sang một mô hình học sinh nhỏ hơn
SeqKD dạy mô hình học sinh toàn bộ quy trình của mô hình giáo viên, bao gồm các lệnh gọi công cụ, đầu ra trung gian và thứ tự các bước
Một bài đăng riêng của AWS cho biết Bedrock AgentCore và các embedding Nova đã rút ngắn công việc rà soát kỹ thuật từ nhiều ngày xuống còn vài phút
Amazon (AMZN) cho biết phương pháp này sử dụng chưng cất tri thức ở cấp độ chuỗi, hay SeqKD, để chuyển các quyết định của một tác tử từ mô hình giáo viên mạnh hơn sang mô hình học sinh nhỏ hơn. Amazon SageMaker AI là nền tảng được AWS quản lý để xây dựng, huấn luyện và triển khai các hệ thống học máy.
Một bài đăng thứ hai của AWS được công bố hôm thứ Hai cho thấy cùng chủ đề tiết kiệm chi phí từ một góc độ khác: Amazon Bedrock AgentCore và các embedding Nova được dùng để rút ngắn công việc rà soát kỹ thuật từ nhiều ngày xuống còn vài phút.
Nhìn chung, hai bài đăng truyền tải một thông điệp đơn giản của AWS: các mô hình lớn có thể khởi đầu công việc, nhưng những hệ thống nhỏ hơn, chuyên biệt hơn mới nên hoàn thành nó.
Amazon SageMaker AI tìm cách giảm hóa đơn cho tác tử
Quy trình SageMaker mới nhắm đến một vấn đề ngày càng khó làm ngơ trong AI doanh nghiệp: các hệ thống tác tử có thể gọi mô hình nhiều lần trong một tác vụ, khiến mỗi câu trả lời thành công tốn kém hơn nhiều so với một phản hồi chatbot đơn lẻ.
Phương pháp được công bố này dạy mô hình học sinh chuỗi hành động, lựa chọn công cụ và các bước trung gian của mô hình giáo viên, bên cạnh các đầu ra. Nhờ đó, doanh nghiệp có thể dành các mô hình đắt tiền cho việc huấn luyện hoặc những trường hợp ngoại lệ, đồng thời chuyển lưu lượng thông thường sang các mô hình rẻ hơn.
Điều này quan trọng với những bên mua đang tìm cách vượt ra khỏi giai đoạn thử nghiệm. Một công ty có thể chấp nhận một bản trình diễn tốn kém, nhưng không thể chấp nhận một hàng đợi hỗ trợ khách hàng, trợ lý lập trình hay tác tử xử lý công việc hậu cần tốn kém khi phải chạy hàng nghìn lần mỗi ngày.
Từ bản trình diễn Bedrock đến áp lực triển khai thực tế
Bài đăng SageMaker hôm thứ Hai tiếp nối loạt bài rộng hơn của AWS về câu chuyện của khách hàng và nhà phát triển xoay quanh hoạt động của tác tử.
Một bài viết khác cho biết Circle K đã rút ngắn thời gian phân loại sự cố DevOps từ 45–60 phút xuống dưới 15 phút bằng Amazon Bedrock, cho thấy hiệu quả kinh tế của tác tử bắt đầu trở nên quan trọng ở đâu. Một khi tác tử tham gia vào quy trình làm việc thực tế, chi phí và độ trễ không còn là chỉ số trong phòng thí nghiệm mà trở thành những giới hạn vận hành.
Cũng nên đọc: Tác tử AI càng làm việc lâu cho bạn càng đốt nhiều tiền
Bối cảnh đó giúp lý giải vì sao chưng cất đã chuyển từ lĩnh vực nghiên cứu sang hướng dẫn sản phẩm.
Năm ngoái, nhiều đợt triển khai AI doanh nghiệp tập trung chứng minh rằng tác tử có thể hoàn thành nhiệm vụ. Năm nay, câu hỏi là liệu chúng có thể làm việc đó đủ rẻ để được duy trì hoạt động hay không.
Điều người mua nên theo dõi tiếp theo
Câu hỏi còn bỏ ngỏ là một mô hình nhỏ hơn sau khi chưng cất sẽ mất bao nhiêu hiệu năng khi xử lý các khối lượng công việc thực tế phức tạp.
Bài đăng của AWS đưa ra một lộ trình, chứ không phải một chuẩn đánh giá áp dụng cho mọi trường hợp. Trước khi thiết kế lại các hệ thống sản xuất dựa trên phương pháp này, người mua sẽ muốn có số liệu cụ thể theo từng tác vụ về tỷ lệ thất bại, việc sử dụng sai công cụ và tần suất huấn luyện lại.
Bài blog của AWS mô tả rõ một quy trình thực tiễn gồm ba bước dành cho khách hàng sử dụng Amazon SageMaker AI: tạo dấu vết hành vi từ một tác tử giáo viên mạnh, huấn luyện mô hình học sinh dựa trên những dấu vết đó trong môi trường huấn luyện được SageMaker quản lý, rồi triển khai mô hình học sinh đã chưng cất để suy luận các tác vụ thông thường nhằm giảm chi phí vận hành.
Nếu quy trình này hoạt động hiệu quả trong các tác vụ hỗ trợ, lập trình và vận hành, nó sẽ đưa ra một giải pháp thực tiễn cho một trong những bài toán chi phí khó khăn nhất của AI doanh nghiệp.
SeqKD sao chép các bước của tác tử như thế nào
Theo cách Amazon trình bày trên blog SageMaker, SeqKD dạy mô hình học sinh toàn bộ lộ trình mà mô hình giáo viên đã thực hiện, bao gồm thời điểm mô hình giáo viên sử dụng công cụ, yêu cầu những gì và thứ tự các bước.
Bài đăng đưa ra ví dụ về việc ghi lại các lần gọi công cụ và đầu ra trung gian để mô hình học sinh học chính sách ở cấp độ chuỗi, thay vì chỉ học câu trả lời cuối cùng bằng văn bản.
Điều này khác với các phương pháp tinh chỉnh trước đây, vốn chủ yếu học từ các cặp đầu vào-đầu ra. Khi một mô hình học sinh đã qua chưng cất học được cách hành xử, mô hình tiên phong có thể tiếp tục đóng vai trò người hướng dẫn tốn kém, còn mô hình nhỏ hơn trở thành công cụ làm việc hằng ngày, giúp giảm hóa đơn suy luận và bớt lý do phải giới hạn mức sử dụng.
Amazon SageMaker AI trong bối cảnh này
Hướng dẫn SeqKD của Amazon SageMaker AI được đưa ra khi khách hàng chuyển từ thử nghiệm sang triển khai thực tế và đối mặt với những giới hạn chi phí thực sự.
Hai bài đăng của AWS kết hợp với nhau để định vị các công cụ SageMaker và Bedrock là những giải pháp bổ trợ cho nhau: SageMaker AI dùng để chưng cất và triển khai các mô hình học sinh có chi phí thấp hơn, còn Bedrock AgentCore cùng các embedding Nova giúp rút ngắn những quy trình kỹ thuật từng mất nhiều ngày. Sự kết hợp này cho thấy cách AWS vạch ra một lộ trình vận hành từ nghiên cứu mô hình lớn đến các tác tử có chi phí thấp hơn và khả năng mở rộng.
Đọc tiếp: Gã khổng lồ dầu mỏ Ả Rập Xê Út hỗ trợ các trung tâm máy tính trong nước để giữ việc làm ở lại quê nhà