Trong thế giới AI sáng tạo đang phát triển nhanh chóng, thách thức tạo vật thể 3D từ hình ảnh 2D luôn tồn tại dai dẳng. Tuy nhiên, các nhà nghiên cứu từ nhiều trường đại học khác nhau đã công bố một tiến bộ đáng kể: SyncDreamer. Công cụ AI sáng tạo này sử dụng mô hình khuếch tán độc đáo để tạo ra nhiều phối cảnh 2D của một đối tượng chỉ từ một hình ảnh.

Cách SyncDreamer Generative AI định nghĩa lại Thiết kế 3D

Các hệ thống AI tổng hợp, đặc biệt là các mô hình khuếch tán như Stable Diffusion, DALL-E và Midjourney, chủ yếu được phát triển để dự đoán sự xuất hiện của hình ảnh khi nhiễu được phủ lên nó. Quá trình này bao gồm việc chuyển hình ảnh từ trạng thái rõ ràng sang trạng thái nhiễu hoàn toàn và sau đó đảo ngược quá trình, cho phép các mô hình này tạo ra các hình ảnh phức tạp từ các mẫu nhiễu ngẫu nhiên. Hơn nữa, các mô hình AI tạo văn bản thành hình ảnh đã mở rộng về vấn đề này, học hỏi từ hàng tỷ cặp mô tả hình ảnh để tạo ra hình ảnh từ các tín hiệu văn bản.

Tuy nhiên, rào cản về tính nhất quán của nhiều chế độ xem đã cản trở những tiến bộ này. Bất chấp sức mạnh của chúng, các mô hình khuếch tán gặp khó khăn khi chụp ảnh 2D và mô tả cùng một vật thể đó từ một góc nhìn mới.

Những nỗ lực trước đây nhằm thu hẹp khoảng cách này dựa vào việc tạo ra các mô hình khuếch tán cho các vật thể 3D – một nhiệm vụ đòi hỏi khối lượng lớn các vật thể 3D được gắn nhãn. Một chiến lược khác kết hợp các trường bức xạ thần kinh (NeRF) có thể tạo ra các dạng 3D từ ảnh 2D. Tuy nhiên, kỹ thuật này đòi hỏi phải có thêm mô tả văn bản và tạo đối tượng – một quá trình không chỉ đòi hỏi cường độ tính toán cao mà còn đòi hỏi đầu vào đáng kể của con người.

Nhập SyncDreamer. Thay vì trực tiếp bắt tay vào tạo hình ảnh 3D, SyncDreamer chụp hình ảnh 2D và tạo các góc 2D thay thế của cùng một chủ đề. Những đầu ra này sau đó có thể được các mô hình như NeRF sử dụng để tạo thành biểu diễn 3D.

Chức năng trọng tâm của SyncDreamer là thiết kế của nó để mô hình hóa phân bố xác suất chung của các hình ảnh nhiều chế độ xem. Bằng cách sử dụng nhiều bộ dự đoán tiếng ồn, SyncDreamer có thể tạo ra nhiều hình ảnh cùng một lúc. Cách tiếp cận phối hợp này đảm bảo tính nhất quán trên tất cả các hình ảnh được tạo ra.

Ứng dụng và thực tiễn

Từ các biểu diễn quang học thực tế đến các bản phác thảo bằng tay, SyncDreamer đã thể hiện khả năng thích ứng của mình trong các tác vụ như tái tạo cảnh hoặc các giai đoạn thiết kế ban đầu. Các nhà nghiên cứu đã nhấn mạnh khả năng của hệ thống trong việc tạo ra các hình ảnh vừa phù hợp về mặt ngữ nghĩa với ảnh gốc vừa duy trì tính nhất quán của nhiều chế độ xem cả về màu sắc và hình thức.

Ưu điểm đáng chú ý của mô hình AI tổng quát này nằm ở sự hợp tác của nó với các mô hình tổng quát khác. Bằng cách ghép nối với các mô hình chuyển văn bản thành hình ảnh như Stable Diffusion hoặc DALL-E, các nhà thiết kế có thể tạo ra và tinh chỉnh các khái niệm một cách nhanh chóng. Quá trình gắn kết này giúp giảm khối lượng công việc cho các nghệ sĩ 3D, mang lại lợi ích đáng kể cho việc phát triển trò chơi và tạo môi trường ảo.

Đằng sau kiến ​​trúc của SyncDreamer

Nhìn vào kiến ​​trúc của SyncDreamer sẽ thấy mô hình khuếch tán nhiều mặt của nó, giúp điều chỉnh việc tạo ra từng chế độ xem. Quá trình này được xây dựng xung quanh việc khử nhiễu đầu vào bằng mô hình UNet. Để đảm bảo tính nhất quán của nhiều chế độ xem, một mô-đun chuyên biệt sẽ tập hợp các đặc điểm của hình ảnh và ánh xạ chúng ở dạng 3D. Sau đó, mạng nơ ron tích chập ba chiều (CNN) sẽ nắm bắt các đặc điểm không gian này và chiếu chúng vào không gian hai chiều. Thiết kế phức tạp này, được các nhà nghiên cứu gọi là “UNet chú ý đến tính năng nhận biết 3D”, đóng một vai trò quan trọng trong việc duy trì tính chính xác và nhất quán của mô hình.

Hệ thống này được hoàn thiện trên bộ dữ liệu Objaverse, bao gồm khoảng 800.000 đối tượng và cảnh 3D được gắn nhãn. Một loạt các phong cách nghệ thuật, từ bản phác thảo đến tranh vẽ bằng mực, mà SyncDreamer đã được thử nghiệm chỉ nhấn mạnh tiềm năng mở rộng của AI trong những năm tới.