Điều khiến tôi lo ngại về các agent không phải là chúng mắc lỗi, mà là chúng mắc lỗi trong im lặng.

Một agent có thể mua hàng, chuyển tiền, ký tên — và trong nhật ký, mọi thứ đều trông giống nhau: giao dịch thành công. Nó đã chi vượt ngân sách bao nhiêu, tiền được gửi cho ai, tại sao lại là lúc này — những điều đó chỉ được phát hiện khi đã quá muộn.

Vì vậy, tôi sẽ đánh giá chất lượng của một agent không phải bằng số nhiệm vụ hoàn thành, mà bằng số lần nó dừng lại. Bao nhiêu lần nó không thanh toán khi chưa được phép. Bao nhiêu lần nó yêu cầu xác nhận địa chỉ mới. Nếu số lần dừng lại bằng không — đó không phải là tính tự chủ, mà là một cái vòi đang mở.

Tính tự chủ không có phanh không phải là một tính năng. Đó là một sự cố chưa xảy ra. #KiteBBW $KITE @KITE AI 中文

Còn bạn sẽ đánh giá một agent như thế nào: dựa trên số nhiệm vụ đã hoàn thành hay số lần nó dừng lại?