HappyOyster d’Alibaba génère des mondes 3D interactifs à partir d’une simple invite

Alibaba ATH a publié HappyOyster 1.0, qu’il présente comme le premier modèle proactif de monde ouvert interactif en temps réel. À partir d’une invite textuelle ou d’une seule image, le système génère un environnement 3D entièrement explorable avec des personnages personnalisés, un son synchronisé et un retour visuel qui se met à jour en temps réel à mesure que l’utilisateur se déplace ou donne des ordres.

HappyOyster est livré avec deux modes principaux. Le mode Aventure transforme une invite, par exemple « conduire à travers un paysage désertique sans fin », en une scène jouable où les personnages se déplacent et le monde réagit pour des sessions durant plus d’une minute. Le mode Mise en scène fonctionne davantage comme un plateau de tournage virtuel : les utilisateurs contrôlent les angles de caméra, la chorégraphie des personnages et la progression de l’intrigue via le langage naturel, avec la possibilité de mettre en pause, de revenir en arrière ou de réécrire l’histoire à tout moment.

Le modèle est conçu pour les développeurs créant des applications interactives. La version de test grisé comprend des SDK côté client pour Android, iOS et le Web, ainsi que des API ouvertes côté serveur pour gérer les mondes virtuels. Les SDK gèrent les connexions RTC, le rendu vidéo et l’interaction en temps réel pour les deux modes. Après une session, les utilisateurs peuvent exporter les séquences générées.

Alibaba liste plusieurs cas d’utilisation : les studios de jeux vidéo peuvent prototyper des mondes ouverts et des séquences de combat à partir d’images ; les applications de drama interactif et de compagnons virtuels permettent aux utilisateurs de concevoir des personnages et des scénarios via du texte ; les sites de tourisme culturel peuvent offrir des expériences immersives aux visiteurs.

Reactor, une plateforme fournissant une infrastructure 3D en temps réel, est le premier partenaire d’intégration officiel. Les deux sociétés ont un partenariat stratégique formel pour étudier la mise en œuvre du produit et la technologie autour des modèles de monde ouvert.

HappyOyster arrive alors que l’industrie de l’IA générative pousse au-delà des sorties statiques de texte et vidéo vers un contenu 3D interactif en temps réel. Plusieurs laboratoires ont montré des démos de texte-vers-3D et de texte-vers-scène, mais HappyOyster est parmi les premiers à présenter la sortie comme un monde persistant dans lequel l’utilisateur peut se déplacer plutôt qu’un clip pré-rendu. La phase de test grisé signifie que tout développeur peut demander l’accès et commencer à construire avec le SDK dès aujourd’hui.