HappyOyster d'Alibaba permet de générer des mondes 3D explorables à partir d'une seule image

Le groupe de recherche ATH d'Alibaba a publié HappyOyster 1.0, le modèle qu'il qualifie de « premier modèle de monde ouvert interactif en temps réel proactif au monde ». L'argument est direct : donnez-lui une invite textuelle ou une photo, et il renvoie un monde 3D que vous pouvez parcourir, traverser en voiture et explorer pendant plus d'une minute avec un son et des visuels synchronisés.

Deux modes divisent l'expérience. Le mode Aventure génère un monde ouvert complet avec des personnages personnalisés, puis répond aux commandes de l'utilisateur en temps réel. Le scénario de démonstration décrit dans l'annonce d'Alibaba montre un paysage désertique avec une physique de conduite, mais le modèle pourrait gérer n'importe quel environnement décrit dans l'invite. Le mode Réalisation transforme l'utilisateur en réalisateur virtuel : les commandes textuelles contrôlent les angles de caméra, les mouvements des personnages et la progression de l'intrigue, avec la possibilité de mettre en pause, de revenir en arrière ou de réécrire la scène à tout moment.

L'architecture sous-jacente n'est pas détaillée dans le communiqué, mais le modèle lui-même est un système génératif entraîné sur des entrées multimodales plutôt qu'un moteur de jeu à états finis. Cela signifie que chaque interaction génère potentiellement un nouveau contenu plutôt que de sélectionner dans une bibliothèque préconstruite de réponses. Savoir si cela tient sous une utilisation soutenue est quelque chose que les tests tiers devront confirmer.

HappyOyster 1.0 est désormais en test gris, ce qui signifie que l'accès est limité à certains développeurs et partenaires d'entreprise. Alibaba a publié des SDK pour Android, iOS et Web, ainsi que des API ouvertes côté serveur pour gérer les mondes virtuels. Le SDK client gère les connexions RTC, le rendu vidéo et les modes Aventure et Réalisation. Les utilisateurs peuvent exporter les séquences après la fin d'une session.

Reactor s'est inscrit comme premier partenaire d'intégration officiel. Les deux entreprises ont conclu un partenariat stratégique axé sur la mise en œuvre du produit et l'innovation technique autour du modèle de monde ouvert. Le rôle exact de Reactor n'est pas précisé au-delà de cela, mais le partenariat suggère une voie commerciale au-delà du simple outil de démonstration.

Le communiqué mentionne plusieurs cas d'utilisation cibles. Les développeurs de jeux peuvent utiliser HappyOyster pour prototyper des mondes ouverts, des interactions de personnages et des séquences de combat à partir d'images et d'invites plutôt que de les construire à partir de zéro dans un moteur de jeu. Les drames interactifs courts et les compagnons numériques IA sont une autre catégorie : les utilisateurs construisent des personnages et des intrigues via le langage naturel, et le modèle gère le reste. Le tourisme culturel est également répertorié comme une application possible, avec des expériences virtuelles immersives pour les visiteurs.

Aucun de ces cas d'utilisation n'est encore totalement prouvé. Le modèle est en test gris précisément parce que les aspérités doivent être polies. La génération interactive en temps réel à cette échelle est coûteuse en calcul, et la qualité de la sortie dépend fortement de la clarté de l'invite et de la compréhension par le modèle de la physique et de la composition de la scène. L'annonce d'Alibaba manque de mesures concrètes comme le temps de génération, la résolution ou la latence interactive.

Néanmoins, la direction importe. La plupart des modèles 3D génératifs actuels produisent des scènes statiques ou de courts clips vidéo. HappyOyster vise la persistance et l'interactivité, ce qui est un problème plus difficile. Si le test gris valide l'approche, l'écosystème SDK pourrait en faire un outil utile pour le prototypage précoce dans les jeux et les médias interactifs. S'il trébuche, la question principale sera de savoir si la génération en temps réel peut suivre les attentes des utilisateurs en matière de cohérence et de consistance.

Pour l'instant, les développeurs ayant accès au test gris peuvent expérimenter. Le modèle est une véritable tentative de pousser l'IA générative au-delà des sorties uniques et de créer quelque chose qui ressemble à un espace habité. Savoir s'il est à la hauteur de cette ambition est l'histoire que la période de test gris racontera.