El HappyOyster de Alibaba genera mundos 3D interactivos a partir de una sola instrucción

Alibaba ATH ha lanzado HappyOyster 1.0, al que denomina el primer modelo proactivo de mundo abierto interactivo en tiempo real. A partir de una instrucción de texto o una sola imagen, el sistema genera un entorno 3D totalmente explorable con personajes personalizados, audio sincronizado y retroalimentación visual que se actualiza en tiempo real a medida que el usuario se mueve o da órdenes.

HappyOyster incluye dos modos principales. El modo Aventura convierte una instrucción, "conduciendo a través de un paisaje desértico sin límites" es un ejemplo, en una escena jugable donde los personajes se mueven y el mundo reacciona durante sesiones de más de un minuto. El modo Dirección funciona más como un set de filmación virtual: los usuarios controlan ángulos de cámara, coreografía de personajes y progresión de la trama a través del lenguaje natural, con la capacidad de pausar, retroceder o reescribir la historia en cualquier momento.

El modelo está diseñado para desarrolladores que construyen aplicaciones interactivas. La versión de pruebas grises incluye SDK del lado del cliente para Android, iOS y Web, junto con Open APIs del lado del servidor para gestionar mundos virtuales. Los SDK manejan conexiones RTC, renderizado de video e interacción en tiempo real para ambos modos. Después de una sesión, los usuarios pueden exportar el metraje generado.

Alibaba enumera varios casos de uso: los estudios de juegos pueden prototipar mundos abiertos y secuencias de combate a partir de imágenes; las aplicaciones de drama interactivo y compañía virtual permiten a los usuarios diseñar personajes e historias a través de texto; los sitios de turismo cultural pueden ofrecer experiencias inmersivas a los visitantes.

Reactor, una plataforma que proporciona infraestructura 3D en tiempo real, es el primer socio oficial de integración. Las dos empresas tienen una asociación estratégica formal para investigar la implementación de productos y la tecnología en torno a los modelos de mundo abierto.

HappyOyster llega mientras la industria de la IA generativa avanza más allá de la salida de texto y video estáticos hacia contenido 3D interactivo en tiempo real. Varios laboratorios han mostrado demostraciones de texto a 3D y texto a escena, pero HappyOyster es uno de los primeros en presentar la salida como un mundo persistente por el que el usuario puede moverse en lugar de un clip prerenderizado. La fase de pruebas grises significa que cualquier desarrollador puede solicitar acceso y comenzar a construir con el SDK hoy.