Lĩnh vực robot học có thể đang chạm tới “thời khắc đột phá GPT-3” của nó. Cũng giống như việc GPT-3 chứng minh rằng việc mở rộng các mô hình transformer với các tập dữ liệu khổng lồ sẽ mở khóa các năng lực nổi bật trong hiểu ngôn ngữ, chúng ta đang quan sát các mô hình tương tự trong các mô hình nền tảng cho robot. Nghiên cứu gần đây cho thấy rằng việc huấn luyện trên hàng triệu quỹ đạo thao tác của robot đang tạo ra các mô hình có khả năng tổng quát hóa giữa các robot, tác vụ và môi trường khác nhau mà không cần tinh chỉnh riêng cho từng tác vụ. Điểm song song cốt lõi là: việc tiền huấn luyện trên dữ liệu đa dạng tạo ra các biểu diễn tiềm ẩn có thể chuyển giao bất ngờ tốt sang các tình huống mới. Nếu điều này đúng, chúng ta có thể thấy việc triển khai nhanh các chính sách điều khiển robot đa năng thay vì phải thiết kế thủ công các hành vi cho từng tác vụ cụ thể. Tuy nhiên, yêu cầu tính toán thật điên rồ—chúng ta đang nói tới hàng trăm giờ GPU chỉ để tối ưu hóa suy luận.