Gemini 3.6 Flash cuenta cambios de estado pero no detecta parpadeos

Un artículo publicado en arXiv el 6 de agosto sostiene que los modelos de lenguaje de video fallan en el registro simple de eventos y que los benchmarks estándar ocultan la gravedad del fallo. «The Low Frequency Trap: Video Language Models Fail at Simple Event Bookkeeping» pone a prueba a Gemini 3.6 Flash con un perfilado paramétrico basado en trazas, un método que audita los eventos que reporta un modelo en lugar de puntuar únicamente la respuesta final.

La representación de eventos decide si un modelo ve algo

Los investigadores crearon tres tareas de video controladas: contactos de una pelota que rebota contra una pared, parpadeos visuales y transiciones de estado categóricas. En 2,190 videos variaron el número de eventos y la frecuencia mientras mantenían fija la renderización, y cada clip incluía una traza de eventos ejecutable, de modo que las predicciones pudieran comprobarse contra el ground truth a nivel de marca de tiempo.

La falla ocurre por etapas. Con un umbral de confiabilidad del 80%, Gemini 3.6 Flash cuenta correctamente transiciones de estado persistentes hasta 12 eventos a 0.5 y 1.0 Hz. Los eventos transitorios de parpadeo nunca alcanzan una región confiable de conteo positivo. En palabras de los autores, la representación de eventos determina si un modelo accede inicialmente a la evidencia, y la limitación se agrava a medida que aumentan el número de eventos y la frecuencia.

El modelo evaluado es una oferta de producción, no una curiosidad de laboratorio. Google añadió Gemini 3.6 Flash a su catálogo en julio como la opción más barata y eficiente dentro de un lote de tres modelos que también incluía un Lite más rápido y una variante cibernética verificada. La documentación de la API Gemini de Google dice que estos modelos pueden procesar videos y extraer información de ellos. Contar parpadeos es exactamente el tipo de tarea simple que sugiere ese planteamiento.

Los fotogramas adicionales inflan la puntuación sin recuperar eventos

El número más contundente del artículo es la brecha entre precisión y fidelidad. Aumentar la tasa de muestreo eleva la precisión de Bounce Ball del 19.6% al 29.3%, aunque la secuencia de eventos reportada coincide con el ground truth solo el 3.7% de las veces. Los fotogramas adicionales, concluyen los autores, pueden inflar las puntuaciones finales sin producir una recuperación fiel de eventos.

El régimen de conteo alto y frecuencia alta se ve peor: solo el 0.2% de los conteos finales son correctos, y el modelo recupera apenas el 18.1% de los eventos reales. Pruebas anteriores de anclaje temporal encontraron el mismo muro, con una precisión que se mantiene plana ya sea que se escalen los parámetros, se aumente la resolución de entrada o se alimenten más fotogramas por segundo. Un muestreo disperso significa que el evento puede no existir en absoluto en la entrada del modelo.

Régimen	Resultado
Transiciones persistentes con 80% de confiabilidad	Cuenta hasta 12 eventos a 0.5 a 1.0 Hz
Parpadeos transitorios	Sin región confiable de conteo positivo
Precisión de Bounce Ball después de más fotogramas	19.6% a 29.3%
Secuencia reportada coincide con el ground truth	3.7%
Conteos finales correctos, régimen de conteo alto	0.2%
Eventos reales recuperados, régimen de conteo alto	18.1%

Los benchmarks de respuesta final permiten que los modelos oculten el fallo

Los benchmarks programáticos existentes puntúan solo la respuesta final, por lo que un modelo que acierta con un número plausible parece competente sin importar cuánto del clip haya pasado por alto en realidad. La contribución del artículo es una alternativa basada en trazas: cada video incluye una traza ejecutable, lo que permite una evaluación a nivel de marca de tiempo y la estimación de la superficie de capacidades.

La distinción es práctica, no académica. Los resultados de los benchmarks de video dependen del preprocesamiento de medios y de la selección de fotogramas, de modo que esas decisiones del pipeline deciden parte de la puntuación antes de que el modelo vea nada. Los autores también probaron diferentes estrategias de prompting y encontraron ganancias igualmente limitadas, lo que apunta a cómo el modelo representa los eventos transitorios más que a cómo está formulada la pregunta.

El video del mundo real muestra el mismo techo de conteo bajo

Los resultados controlados se trasladan al metraje natural: las evaluaciones con video del mundo real muestran la misma concentración de éxito en conteos de eventos bajos, exactamente el régimen en el que un modelo parece utilizable. Cualquier aplicación que necesite contar eventos breves y discretos se encuentra en el lado equivocado de ese techo.

Hay una ironía arquitectónica aquí. Proyectos de video continuo como VLX-Flow, presentados en una publicación del blog de Hugging Face por Om AI Lab, señalan que la mayoría de los modelos de video comienzan a mirar solo después de que un usuario hace una pregunta, algo que los dispositivos reales no pueden esperar. Si la representación de eventos es el cuello de botella, la observación continua por sí sola no resolverá el registro de eventos. El argumento final del artículo es metodológico: el perfilado basado en trazas desplaza la evaluación de video desde la precisión agregada hacia un diagnóstico de dónde falla el razonamiento temporal. Para cualquiera que despliegue un modelo de video, la diferencia entre una puntuación que se ve bien y una traza que coincide es la historia.