Vos lunettes intelligentes se souviennent de tout, mais ne peuvent pas vous dire quand cela s'est produit

L'IA portable entre dans la phase de streaming. Les lunettes intelligentes enregistrent désormais en continu, et l'argument est qu'un assistant peut se rappeler exactement ce qui s'est passé et quand. Mais un nouveau benchmark à grande échelle suggère que la partie « quand » est défaillante et pourrait nécessiter une approche fondamentalement différente pour être corrigée.

Les chercheurs de Meta, dont l'auteur principal Hoang Phan et une équipe couvrant les laboratoires d'IA de l'entreprise, ont publié cette semaine S-EMBER (Streaming Egocentric Memory Benchmark for Episodic Retrieval). Le benchmark comprend 3 141 vidéos totalisant 388 heures d'activité organique capturées via les lunettes intelligentes Ray-Ban Meta, associées à 9 448 paires de questions-réponses qui nécessitent une preuve visuelle manuelle via une localisation temporelle précise.

Le choix de conception clé est que S-EMBER fonctionne comme un benchmark de streaming, et non comme un benchmark hors ligne. Les évaluations actuelles de compréhension vidéo déversent généralement l'intégralité du fichier sur un modèle et lui demandent de répondre à des questions. S-EMBER simule plutôt les conditions réelles d'un appareil portable, où de nouvelles images arrivent de manière causale et la récupération est déclenchée par des événements dans le flux, et non par un humain qui fait une pause et recherche.

Le paradoxe de la localisation

La conclusion centrale de l'article est ce que les auteurs appellent un « paradoxe de la localisation ». J'ai lu l'intégralité du tableau des résultats pour comprendre ce qu'ils veulent dire, et les chiffres sont frappants. Sur des modèles allant de GPT-4o, Gemini 2.0 Flash et Llama 3.2, les chercheurs ont mesuré deux capacités séparément : le raisonnement sémantique (identifier l'objet ou l'événement que la question décrit) et l'ancrage temporel (localiser l'horodatage exact où il apparaît).

Le raisonnement sémantique s'améliore avec l'échelle du modèle. Les modèles plus grands sont meilleurs pour dire « oui, la personne a pris une tasse bleue ». Mais la précision de l'ancrage temporel reste stable, que vous augmentiez les paramètres, la résolution d'entrée ou le nombre d'images par seconde. Un modèle de 8 milliards de paramètres est à peu près aussi précis pour horodater des événements qu'un modèle de 405 milliards de paramètres, dans la limite du bruit statistique de la mesure.

Cela importe parce qu'un assistant portable qui peut vous dire « vous avez bien interagi avec ce document » mais ne peut pas dire « c'était vers 15 h mardi » est pratiquement inutile pour la récupération de mémoire épisodique.

L'article est précis quant à l'emplacement du goulot d'étranglement. Il ne se situe pas dans l'encodage d'images individuelles. Il se situe dans le mécanisme d'agrégation temporelle. Les modèles peuvent identifier une image qui contient un événement pertinent, mais ils perdent le signal de position en assemblant les images en un récit. Le même schéma architectural qui rend les transformateurs bons pour comprendre l'essentiel d'une scène les rend également mauvais pour préserver où exactement dans un flux de 30 minutes cette scène s'est produite.

Ce que le benchmark teste différemment

Les benchmarks vidéo égocentriques existants, comme les tâches de mémoire épisodique d'Ego4D, évaluent les modèles dans un cadre hors ligne et orienté recherche. Un agent voit la vidéo entière et toutes les questions en même temps. S-EMBER formalise plutôt la « récupération épisodique en streaming ancrée », où le modèle traite un flux continu et doit répondre à des questions déclenchées par des événements visuels sans revoir l'intégralité du passé.

Cela se rapproche de ce qu'un humain fait lorsqu'il regarde une vidéo et que quelqu'un demande « as-tu vu la voiture rouge passer ? » La réponse dépend si l'événement a été noté, et non si le modèle peut le retrouver plus tard avec une recherche complète.

Le benchmark prend également en charge des longueurs de réponse flexibles pour simuler une interaction naturelle entre humain et IA. Une réponse correcte peut être un horodatage précis ou une description narrative, et l'évaluation tient compte des deux.

Meta a publié l'ensemble de données sous le nom facebook/S-EMBER sur Hugging Face, bien qu'aucun modèle ne soit actuellement cité comme l'utilisant, probablement parce que le benchmark n'a que quelques jours.

Le benchmark S-EMBER de Meta révèle que le raisonnement sémantique dans les modèles vidéo continue de s'améliorer avec l'échelle, mais que la localisation temporelle a stagné. Cela a des conséquences directes pour toute IA portable qui promet de récupérer des souvenirs spécifiques à partir de longs flux vidéo.