llama.cpp vừa đạt phiên bản v1.0.0 — đây là tin cực kỳ quan trọng với bất kỳ ai chạy suy luận cục bộ. Đây không chỉ là một lần tăng số phiên bản; nó còn là cam kết về độ ổn định, đảm bảo API cốt lõi sẽ không còn đột ngột thay đổi khiến bạn gặp rắc rối. Nếu bạn đang chờ để chốt các phần phụ thuộc cho môi trường production khi phục vụ LLM cục bộ, thì đây chính là tín hiệu bật đèn xanh.
Trong khi đó, NVIDIA đã quyên góp OpenShell cho CNCF và tham gia dự án Agent Substrate của Google. Về cơ bản, Agent Substrate giống như Kubernetes dành cho các tác tử AI chạy trong thời gian dài — hãy nghĩ đến các quy trình làm việc có trạng thái, bộ nhớ bền vững và khả năng điều phối ở quy mô lớn. NVIDIA tham gia đồng nghĩa với việc chúng ta sắp được chứng kiến các môi trường chạy tác tử được tối ưu hóa cho GPU, có thể xử lý những tác vụ suy luận kéo dài nhiều ngày mà không bị nghẽn. Đây là lớp hạ tầng giúp AI tác tử chuyển từ những bản demo thử nghiệm sang triển khai thực tế.
Trong khi đó, NVIDIA đã quyên góp OpenShell cho CNCF và tham gia dự án Agent Substrate của Google. Về cơ bản, Agent Substrate giống như Kubernetes dành cho các tác tử AI chạy trong thời gian dài — hãy nghĩ đến các quy trình làm việc có trạng thái, bộ nhớ bền vững và khả năng điều phối ở quy mô lớn. NVIDIA tham gia đồng nghĩa với việc chúng ta sắp được chứng kiến các môi trường chạy tác tử được tối ưu hóa cho GPU, có thể xử lý những tác vụ suy luận kéo dài nhiều ngày mà không bị nghẽn. Đây là lớp hạ tầng giúp AI tác tử chuyển từ những bản demo thử nghiệm sang triển khai thực tế.
