Các tác tử tự trị hoạt động rất khác so với luồng suy luận thông thường. Một yêu cầu duy nhất có thể khởi tạo một bước nhúng, một bước lập kế hoạch và một bước tạo sinh. Vì mỗi hành động trong số này được kích hoạt một cách khó đoán và dựa trên các phần cứng khác nhau, nên phần lớn cơ sở hạ tầng GPU hiện có đơn giản là không được xây dựng để đáp ứng chúng.