Plus tôt cette année, Roblox a dévoilé son plan ambitieux visant à intégrer l’IA générative Roblox à sa plateforme, dans le but de simplifier la création de contenu pour tous les utilisateurs. Les récents développements de l’IA générative, en particulier dans les grands modèles de langage (LLM), promettent un nouvel horizon pour améliorer les expériences immersives. De telles avancées accélèrent non seulement le processus de création, mais garantissent également un environnement plus sûr, tout en maîtrisant les exigences de calcul.
L’une des tendances notables de l’IA est l’essor des modèles multimodaux. Ces modèles, capables de traiter une grande variété de formes de contenu, des images et du texte aux modèles 3D et à l’audio, redéfinissent les outils de création. Leur capacité à produire des résultats combinant plusieurs modes (par exemple, du texte avec des visuels correspondants) constitue une innovation majeure. Pour Roblox, cela représente un double avantage :
Il augmente la productivité des créateurs de contenu chevronnés.
Il démocratise le processus créatif, permettant à un plus large éventail d’utilisateurs de matérialiser leurs idées sur la plateforme.
Lors de la récente conférence des développeurs Roblox (RDC), l'entreprise a annoncé le lancement de plusieurs outils intégrant l'IA générative dans Roblox Studio. Ces outils visent à accélérer la mise à l'échelle des projets, à accélérer le processus d'itération et à renforcer la créativité des utilisateurs, garantissant ainsi une production de contenu de qualité.
Assistant IA Roblox
Roblox a toujours fourni à ses créateurs les ressources nécessaires à la création d'expériences 3D détaillées. Pourtant, de nombreux créateurs se sont tournés vers des outils d'IA générative et conversationnelle tiers pour obtenir de l'aide. Bien que bénéfiques pour alléger certaines tâches, ces versions génériques n'étaient pas adaptées aux flux de travail uniques de Roblox, ni à son code, son jargon et son langage spécifiques. Par conséquent, les créateurs ont rencontré d'importantes difficultés lors de l'intégration de ces outils à leur contenu. Conscient de cette lacune, Roblox a annoncé son intention d'intégrer les avantages de ces outils directement dans Roblox Studio lors de la RDC, en lançant une première version de son outil appelée « Assistant ».
« Assistant » est l'IA conversationnelle interne de Roblox, conçue pour simplifier le processus de création des créateurs, quel que soit leur niveau d'expérience. Son objectif est de minimiser le temps consacré aux tâches routinières, permettant aux créateurs de se concentrer sur des aspects tels que le scénario, le gameplay et la conception globale. Grâce à sa vaste bibliothèque de modèles 3D publics et à sa capacité à fusionner le modèle avec les API de la plateforme, Roblox se distingue comme un candidat de choix pour développer un tel modèle d'IA pour des univers 3D complexes. Avec Assistant, les créateurs peuvent utiliser des instructions en langage clair pour concevoir des scènes, modifier des modèles 3D et doter les objets de caractéristiques interactives. L'outil couvre trois étapes clés de la création : la compréhension, la programmation et la construction.
Compréhension : Que vous soyez novice ou expert Roblox, l'Assistant IA Roblox répond à diverses questions en langage clair. Programmation : S'appuyant sur la fonctionnalité « Assistance au code », l'Assistant peut améliorer le codage, expliquer certains segments de code et proposer des solutions de débogage. Construction : Les créateurs peuvent rapidement transformer des concepts en modèles tangibles. En saisissant des commandes telles que « Éclairer ce chemin avec des lampadaires » ou « Construire une forêt variée et la décorer d'arbustes et de fleurs », des scènes entières peuvent se matérialiser. L'interaction avec l'Assistant est conçue comme un processus dynamique et bidirectionnel, permettant aux créateurs de donner leur avis et d'affiner les résultats. C'est comme collaborer avec un co-créateur expérimenté, facilitant le brainstorming et l'optimisation des idées.
Lors du RDC, Roblox a fait une annonce supplémentaire concernant son nouvel outil d'IA, Assistant. Les développeurs ont eu l'opportunité de partager leurs données de script Luau anonymisées afin d'améliorer l'efficacité et les fonctionnalités des outils d'IA Roblox, tels que Code Assist et Assistant. Ce faisant, ils aideraient non seulement la communauté de développeurs Roblox, mais aussi, s'ils décidaient d'étendre leurs contributions au-delà de Roblox, la communauté Luau au sens large. En effet, les données de script partagées seraient intégrées à un ensemble de données accessible à des tiers, afin d'affiner leurs outils de chat IA et d'améliorer les suggestions de code Luau.
Rationalisation de la conception d'Avatar
L'objectif de Roblox est que chacun de ses 65,5 millions d'utilisateurs quotidiens possède un avatar qui reflète et transmette véritablement son identité. Si les membres du programme UGC ont récemment pu concevoir et commercialiser des corps d'avatar et des têtes individuelles, le processus de conception actuel nécessite de naviguer dans Studio ou le programme UGC. Associé à un niveau de compétence avancé requis et à plusieurs jours nécessaires pour intégrer des fonctionnalités telles que les expressions faciales et le rigging 3D, la création d'avatars devient un travail de longue haleine. Par conséquent, les options d'avatar restent limitées. Cependant, Roblox envisage de dépasser ces limites.
Afin de permettre à tous les utilisateurs de Roblox d'obtenir un avatar unique et dynamique, l'entreprise souhaite simplifier le processus de création d'avatars. Lors de la RDC, le lancement d'un outil révolutionnaire, prévu pour 2024, a été annoncé. Cette innovation permettra de transformer une ou plusieurs images en un avatar personnalisé. Tout créateur affilié à Studio ou au programme UGC peut utiliser cet outil, télécharger une image et personnaliser ensuite l'avatar généré. L'ambition à long terme de Roblox est d'intégrer ces fonctionnalités d'IA directement dans les expériences Roblox.
Pour concrétiser ce projet, Roblox s'appuie sur des modèles d'IA, inspirés par la conception des avatars de la plateforme et par une collection de modèles d'avatars 3D spécifiques à Roblox. Parmi les techniques envisagées figurent la génération d'avatars 3D à partir d'images 2D, l'enrichissement de données 3D limitées grâce à des stratégies génératives 2D et l'utilisation d'un réseau antagoniste génératif (GAN) pour la génération 3D. De plus, la technologie ControlNet est utilisée pour superposer des poses prédéfinies, améliorant ainsi les visuels d'avatars multi-angles.
Après la création de la structure 3D de l'avatar, une segmentation sémantique 3D avancée, basée sur les poses de l'avatar, est utilisée. Cette procédure affine le design 3D initial en intégrant des éléments faciaux, des structures et des textures distinctifs, transformant ainsi la forme 3D de base en un avatar Roblox authentique. Les utilisateurs peuvent ensuite utiliser un outil d'édition de maillage pour une personnalisation plus poussée, ajustant l'avatar à leur concept. L'IA de Roblox permet de réaliser ce processus en quelques minutes seulement, permettant une intégration immédiate de l'avatar dans les expériences Roblox.
Modération de la communication vocale
L'IA de Roblox va au-delà de la simple création de contenu ; elle constitue également un mécanisme robuste pour favoriser une communauté diversifiée, sécurisée et respectueuse à grande échelle. Avec l'introduction de nouvelles fonctionnalités vocales, telles que le chat vocal, Roblox Connect et les API récemment annoncées lors du RDC, la modération de contenu vocal en temps réel apparaît comme un nouveau défi. La solution la plus répandue dans le secteur, la reconnaissance vocale automatique (RAP), convertit les fichiers audio en texte, qui est ensuite analysé pour détecter tout contenu potentiellement inapproprié ou des mots-clés spécifiques.
Bien qu'efficace pour les petites entités, le déploiement de l'ASR auprès de la vaste base d'utilisateurs de Roblox a révélé ses inefficacités. Non seulement il ne parvient pas à saisir les nuances comme le ton et le volume, mais le volume important des conversations quotidiennes, multilingues, le rend complexe. Conscient de ces difficultés, Roblox AI a mis au point une procédure simplifiée permettant d'identifier les violations de politique directement à partir de l'audio en direct.
Ce mécanisme de détection vocale de pointe a été développé en interne. Roblox AI a utilisé l'ASR pour catégoriser ses données vocales propriétaires, puis a utilisé ces données catégorisées pour l'entraînement du système. Le processus d'entraînement commence par la conversion des données audio en transcriptions, qui sont ensuite analysées par le système de filtrage de texte de Roblox, déjà capable d'identifier le jargon spécifique à Roblox et les violations potentielles. Roblox dispose ainsi désormais d'un modèle capable de détecter en temps réel les violations de règles directement à partir des flux audio.
Le système d'IA de Roblox, bien qu'il soit capable d'identifier les mots-clés explicites, reconnaît que les violations des règles dépendent souvent du contexte général. Un mot répréhensible dans un contexte peut être inoffensif dans un autre. Pour améliorer la compréhension contextuelle, Roblox a intégré une architecture basée sur des transformateurs, experte en analyse séquentielle. Ce framework préserve les séquences audio étendues, permettant au système de distinguer les mots, le contexte et les intonations. Il en résulte un système qui classe les fichiers audio en fonction du respect des règles, en tenant compte des mots-clés, du ton, du sentiment et du contexte général. Ce système innovant nécessite une puissance de calcul nettement inférieure à celle des ASR traditionnels, ce qui s'inscrit dans la vision d'évolutivité de Roblox.