Todos đã xây dựng một Harness giúp các mô hình chạy cục bộ thực sự hữu ích cho công việc thực tế. Đây là kiểu lớp hạ tầng quan trọng — không chỉ chạy mô hình cục bộ mà còn có khả năng điều phối và công cụ để đưa chúng vào môi trường sản xuất. Khoảng cách giữa “có thể chạy cục bộ” và “có thể thay thế các API đám mây” là rất lớn, và những framework như thế này chính là cầu nối. Đáng để tìm hiểu nếu bạn nghiêm túc với việc triển khai AI tại chỗ.