L'huître joyeuse d'Alibaba vous permet de traverser un désert et de réécrire l'histoire en cours de route

Alibaba ATH, la branche de recherche derrière la famille de modèles Qwen, a publié HappyOyster 1.0. Il s'agit du premier modèle proactif de monde ouvert interactif en temps réel de l'entreprise, un terme long qui signifie qu'il génère un monde virtuel à partir d'une invite textuelle ou d'une image de référence et vous permet de vous y déplacer, d'interagir avec les personnages et de changer ce qui se passe ensuite.

Le modèle est construit autour de l'idée que l'utilisateur ne doit pas seulement regarder mais agir. Avec une seule invite, HappyOyster génère un environnement personnalisé, le peuple de personnages, puis simule la manière dont il répond aux commandes du joueur. La sortie dure plus d'une minute avec des visuels et un son synchronisés.

Deux modes, deux approches

HappyOyster est livré avec deux modes phares. Le mode Aventure génère un monde ouvert à partir d'une invite textuelle ou d'une image téléchargée. Le modèle place le joueur à l'intérieur de ce monde et le met à jour en temps réel à mesure que le joueur se déplace, agit ou donne des commandes. La démonstration montre une séquence de conduite à travers un paysage désertique, du sable à perte de vue, une voiture, un horizon qui se déplace lorsque le joueur tourne.

Le mode Mise en scène adopte un angle différent. Il traite l'utilisateur comme un réalisateur en direct sur un plateau de tournage virtuel. Les commandes textuelles contrôlent les angles de caméra, la chorégraphie des personnages et la progression de l'intrigue. La scène s'affiche instantanément et se lit en continu. L'utilisateur peut à tout moment mettre en pause, revenir en arrière ou réviser l'histoire. Une démo montre un mini-jeu d'habillage de personnage entièrement contrôlé par langage naturel.

Applications possibles

Alibaba présente HappyOyster comme un outil de contenu interactif multimodal de nouvelle génération avec plusieurs applications pratiques :

• Jeux : les développeurs peuvent prototyper des mondes ouverts, des interactions de personnages et des séquences de combat en téléchargeant des images et en tapant des invites, sans mois de modélisation d'environnement.
• Drames interactifs et compagnie virtuelle : les utilisateurs construisent des personnages et des scénarios via le langage naturel et peuvent réécrire les développements de l'intrigue à tout moment.
• Tourisme culturel : le modèle offre des expériences immersives exploratoires aux visiteurs, pensez à des visites virtuelles guidées qui répondent à l'endroit où vous regardez et à ce que vous demandez.

SDK et partenariats

HappyOyster 1.0 est désormais en test gris ouvert. L'entreprise fournit des SDK multiplateformes pour Android, iOS et Web. Les développeurs peuvent gérer des mondes virtuels via des API ouvertes côté serveur, tandis que le SDK côté client gère les connexions RTC, le rendu vidéo et l'interaction en temps réel. Les utilisateurs peuvent exporter des séquences après avoir terminé une session.

Reactor s'est inscrit comme premier partenaire officiel intégré à HappyOyster. Les deux entreprises ont conclu un partenariat stratégique formel couvrant la mise en œuvre du produit et l'innovation technologique autour des modèles de monde ouvert.

Contexte et comparaison

Cette publication fait suite à la poussée plus large d'Alibaba dans les modèles du monde. L'équipe Qwen a précédemment open-sourcé Qwen-AgentWorld, un modèle de monde langagier qui simule des environnements pour que les agents d'IA s'entraînent à l'intérieur, un simulateur abstraisant la physique en texte. HappyOyster cible le public opposé : les utilisateurs finaux humains qui veulent explorer et créer, non pas former des agents.

Il arrive également alors que les laboratoires chinois se précipitent pour commercialiser du contenu 3D génératif et interactif. MiniMax a publié plus tôt cette année un modèle vidéo optimisé pour l'animation de style anime. Alibaba lui-même a massivement investi dans les modèles multimodaux, avec des variantes de Qwen alimentant désormais tout, des robots aux voitures en passant par les lunettes.

La phase de test gris de HappyOyster révélera si le modèle peut soutenir des mondes interactifs cohérents et crédibles à grande échelle. Les clips de démonstration sont soignés. Le véritable test est ce qui se passe lorsque des milliers d'utilisateurs commencent à traverser des paysages désertiques et à mettre en pause des drames, et ce que le modèle fait lorsqu'ils sortent des sentiers battus.