null
Giới AI không thiếu chuyện bát quái.
Nhân vật chính của lần này là Giambattista Parascandolo, một nhà nghiên cứu quan trọng trong lĩnh vực mô hình suy luận của OpenAI.
Năm 2020, ông đến MIT để phỏng vấn vị trí giáo sư và đã có một bài thuyết trình về việc sử dụng GPT để suy luận. Kết quả là, phần lớn các giáo sư trong hội đồng tuyển chọn đã bác bỏ hướng đi này là «vô căn cứ» (nonsense).
https://x.com/turingbook/status/2084003612687249836?s=20
Anh chàng này thẳng thừng “đáp thẳng vào mặt”, đăng trải nghiệm đó lên trang cá nhân, kèm theo phần giới thiệu bài thuyết trình từ năm ấy và link các slide.
https://sites.google.com/view/giambattista-parascandolo/home
Báo cáo bị chỉ trích là “lời nói vô căn cứ” đó nói gì vậy?
Trang web của MIT cho thấy, chủ đề của báo cáo này là làm sao để mạng nơ-ron nhân tạo vượt qua phân phối huấn luyện, đạt được khả năng tổng quát hoá và lập kế hoạch gần hơn với con người.
Parascandolo cho rằng con người có thể tái tổ hợp kiến thức đã có, nhận diện các bất biến then chốt, xây dựng mô hình trừu tượng và hoàn thành lập kế hoạch dài hạn. Mạng nơ-ron nhân tạo vẫn còn rất nhiều dư địa để cải thiện trong các phương diện đó.
Cuối báo cáo, anh ấy đề xuất ba hướng nghiên cứu tương lai: suy luận mở trong mạng nơ-ron; các mức độ tự do chưa được khám phá trong mạng nơ-ron nhân tạo; và trong học tăng cường, sử dụng ngôn ngữ như phương tiện suy luận để nâng cao hiệu suất mẫu.
Trong số đó, khái niệm quan trọng nhất là “suy luận mở (open-ended reasoning)”.
Parascandolo định nghĩa như sau: mô hình có thể dành nhiều thời gian và tính toán hơn để liên tục hiệu chỉnh đáp án. Bài toán càng khó, mô hình càng nên “nghĩ thêm vài bước” và chuyển phần tính toán bổ sung thành kết quả tốt hơn.
Nghe thì đã khá giống với “việc suy luận khi tính toán mở rộng” ngày nay.
Transformer tiêu chuẩn khi đó có độ sâu mạng cố định: lượng tính toán chuyển tiếp (forward computation) mà mỗi token trải qua là gần như xác định, nhưng độ khó bài toán lại không có quan hệ ổn định với độ dài đầu vào. Một bài toán có thể rất dài nhưng đáp án lại đơn giản. Một bài toán chỉ có một câu có thể lại cần nhiều vòng phân rã và kiểm chứng.
RNN nhìn có vẻ phù hợp hơn cho kiểu nhiệm vụ này. Nó có thể chạy lặp đi lặp lại và về mặt lý thuyết có thể có được thời gian suy nghĩ độ dài bất kỳ. Tuy nhiên, đường cong Parascandolo trình bày trong PPT lại cho thấy rằng RNN thường chỉ đạt hiệu suất tốt quanh số bước suy luận mà nó đã từng gặp khi huấn luyện; nếu tiếp tục tăng số vòng lặp, độ chính xác thậm chí có thể giảm.
Điều này có nghĩa là: việc tăng lượng tính toán chỉ là bước đầu tiên; mô hình còn phải học cách sử dụng lượng tính toán đó.
Thời điểm đó, kế hoạch nhiều bước hiệu quả nhất phụ thuộc rất nhiều vào mô hình dự đoán điều khiển (model predictive control) và cây tìm kiếm Monte Carlo. Mạng nơ-ron chịu trách nhiệm dự đoán môi trường hoặc đánh giá giá trị; thuật toán tìm kiếm bên ngoài chịu trách nhiệm triển khai (mở rộng) các đường đi trong tương lai. Parascandolo mong muốn tiếp tục tích hợp khả năng suy luận tầm xa vào mạng nơ-ron.
Giả định thứ hai của anh ấy là biến ngôn ngữ thành “phương tiện” để thực hiện suy luận.
Parascandolo 用 các trò chơi kinh điển (Lấy ví dụ: Montezuma’s Revenge) để minh hoạ. Một tác nhân học tăng cường (reinforcement learning agent) được huấn luyện từ con số không cần phải thử vô số kết hợp giữa trạng thái và hành động; nhiều thao tác đúng bản thân chúng cũng không hề phức tạp. Thứ mà agent thật sự thiếu là khả năng phán đoán “hành vi nào hợp lý hơn”.
GPT đã hấp thụ rất nhiều kiến thức thế giới từ văn bản. Ngôn ngữ có thể giúp mô hình mô tả môi trường, hiểu mục tiêu, chia nhỏ nhiệm vụ và tạo ra kế hoạch cấp cao; đồng thời cũng có thể thu hẹp đáng kể phạm vi tìm kiếm.
Đặt vào bối cảnh ngày nay, cách tiếp cận này rất dễ khiến người ta liên tưởng đến chuỗi suy nghĩ (chain-of-thought), lập kế hoạch bằng ngôn ngữ và quy trình làm việc (workflow) của agent.
Hướng thứ ba mà Parascandolo đề xuất là: hệ thống AI có thể “đặt lại nhiệm vụ”, quay về bất kỳ trạng thái nào trong trí nhớ, đồng thời tạo các tình huống phản thực (counterfactual). Hệ thống cũng có thể điều chỉnh thời gian, trọng lực và kết quả quan sát trong bộ mô phỏng. Thậm chí, hệ thống có thể trực tiếp đọc, sao chép và thay đổi các giá trị kích hoạt (activation) của chính mình cũng như trọng số của mạng nơ-ron.
Điều này tương đương với việc đưa chính quá trình học vào không gian thao tác của agent. Nó có thể tiến hành luyện tập có chủ đích, tạo ra các tình huống huấn luyện đặc biệt, chuyển giao kiến thức đã có và học lại nhằm vào các quỹ đạo thất bại.
Trong một bản PPT từ năm năm trước, gần như đã viết ra lộ trình các mô hình suy luận như ngày nay.
Chúng tôi cũng lần ra được một bài blog mà anh ấy đã viết vào tháng 6/2021; tiêu đề chính là (bẫy lan truyền ngược, tiến hoá và “hai con chó”).
Bài blog này chủ yếu phản biện quan điểm cho rằng “mạng nơ-ron cần lượng dữ liệu khổng lồ, nên không giống bộ não con người”.
Parascandolo cho rằng: con người chỉ cần nhìn vài con chó đã có thể học để nhận diện, điều đó không có nghĩa là trước đó không hề tích luỹ kinh nghiệm. Quá trình tiến hoá lâu dài đã “ngưng tụ” vào cấu trúc của não người và những thiên lệch suy luận (inductive biases) từ kinh nghiệm mà tổ tiên từng tiếp xúc với thế giới.
Theo góc nhìn này, việc tiền huấn luyện quy mô lớn của mạng nơ-ron có thể được ví như tiến hoá sinh học; còn việc tinh chỉnh mô hình và học theo ngữ cảnh mới giống hơn với việc học trong suốt cả một đời của một cá thể. GPT-3 đã đọc lượng văn bản vượt xa bất kỳ cá nhân nào, nhưng phần tiền huấn luyện của nó đóng vai trò nén kinh nghiệm khổng lồ và tạo ra khả năng học hiệu quả. Vì vậy, không thể đem toàn bộ dữ liệu tiền huấn luyện của mô hình so sánh trực tiếp với ít mẫu học mà một người thu được sau khi sinh ra.
Cách hiểu này cũng đồng thời cho thấy: việc tiếp tục mở rộng dữ liệu và năng lực tính toán vẫn có thể mang lại mức cải thiện đáng kể. Anh ấy ví von về vai trò của cả hai, và không cho rằng cơ chế cụ thể của giảm gradient lại giống hệt tiến hoá sinh học.
Anh chàng này là ai vậy?
Anh chàng này khá khiêm tốn. Bài đăng mới nhất trên X của anh hiện phải truy về tận tháng 11/2024, thời điểm đó anh đang tuyển dụng hai nghiên cứu viên kỹ thuật (RE) và kỹ sư phần mềm (SWE) cho o1.
Theo trang chủ cá nhân của anh ấy, kinh nghiệm nghiên cứu của Parascandolo luôn xoay quanh việc tổng quát hoá, lập kế hoạch và suy luận.
Năm 2017, anh vào Viện Nghiên cứu hệ thống thông minh Max Planck và Đại học Bách khoa Liên bang Thụy Sĩ Zurich để học tiến sĩ. Anh được hướng dẫn bởi Bernhard Schölkopf và Thomas Hofmann; đề tài tiến sĩ tập trung vào OOD (ngoài phân phối huấn luyện) trong học sâu.
Trong thời gian làm tiến sĩ, anh có một giai đoạn thực tập ở Google X tại San Francisco và ở DeepMind tại London. Ở nơi đầu tiên, anh tham gia nghiên cứu thiết kế tự động trên các trình mô phỏng quy mô cực lớn; ở nơi thứ hai, anh tham gia nghiên cứu cây tìm kiếm Monte Carlo phân chia để trị (divide-and-conquer Monte Carlo tree search).
Năm 2021 tháng 9 bảo vệ tiến sĩ, anh ấy trực tiếp gia nhập OpenAI. Ban đầu anh vào đội học tăng cường do John Schulman dẫn dắt, sau đó chuyển sang đội thuật toán nơi Mark Chen phụ trách, rồi lại gia nhập đội 🍓 (dâu tây) do Jerry Tworek dẫn dắt.
Năm 2023, anh tham gia nghiên cứu phát triển GPT-4 và thành lập một đội ngũ mới tiếp tục nghiên cứu về suy luận. Sau đó anh cũng tham gia nghiên cứu nền tảng cho OpenAI o1 và o3, thúc đẩy việc mở rộng mô hình hoá phần thưởng, xây dựng môi trường và các thuật toán suy luận tổng quát. Trong đó, một phần mô tả thuật toán đến nay vẫn còn bị anh ấy che bằng các khối đen.
Ở buổi phỏng vấn năm 2020, Parascandolo không giành được vị trí giảng viên tại MIT, và anh đã đến OpenAI.
Bốn năm sau, anh ấy giúp xây dựng o1.
Cuộc đời luôn kỳ diệu theo những cách không thể lường trước.
Tham khảo liên kết:
https://x.com/giambattista92
https://sites.google.com/view/giambattista-parascandolo/home
https://gibipara92.github.io/2021/06/09/backprop-evolution-two-dogs.html
https://docs.google.com/presentation/d/1edd2GkAP31wNygaev3DO8gE1t2lgsx1z8TeVpBKqlYA/edit?slide=id.gc772610149_0_179#slide=id.gc772610149_0_179
Bài viết này đến từ tài khoản WeChat chính thức “Máy chiêm niệm (机器之心)” (ID: almosthuman2014), tác giả: Dương Văn