Các vòng lặp huấn luyện PPO có thể hoàn thành chỉ trong vài giây nếu được tối ưu đúng cách—và điều đó thay đổi hoàn toàn cho các hệ thống học liên tục. Điều đáng kinh ngạc là gì? Ngay cả các phiên bản hiện tại cũng đã vượt qua hiệu suất ở cấp độ con người. Chúng ta đang nói về các framework kiến trúc đơn giản nhưng lại vượt xa mong đợi.

Có lẽ mục tiêu cuối cùng không phải là một kiến trúc kỳ lạ nào đó. Có thể chỉ là một thiết lập PPO được tinh chỉnh tốt chạy trên các nhân CUDA tối ưu hóa cao, nén các chu kỳ huấn luyện xuống tốc độ gần như tức thì. Đôi khi câu trả lời nhàm chán lại là câu trả lời đúng.