ReactVAU ne réveille son modèle le plus lourd que lorsqu'un flux vidéo devient suspect

L'échantillonnage hors ligne et la compression de mémoire échouent tous deux face à un flux en direct

Une caméra de surveillance pointée pendant six heures sur un couloir vide produit six heures de rien. Un système de détection d'anomalies vidéo qui fait tourner un grand modèle de langage multimodal sur l'ensemble de ces images consomme presque tout son budget d'inférence à décrire ce rien. ReactVAU, un article récemment publié sur la compréhension des anomalies dans les flux vidéo en continu, soutient que la solution est une question d'ordonnancement : le raisonnement coûteux ne devrait pas se déclencher avant l'apparition de quelque chose qui mérite d'être analysé.

La compréhension des anomalies vidéo demande à un système de détecter un événement inhabituel et de l'expliquer, une tâche plus lourde que le simple marquage d'un horodatage. Le résumé de ReactVAU présente le domaine comme pris entre deux conceptions qui, chacune, se brisent en contexte de direct. Les méthodes hors ligne échantillonnent un clip de manière globale et raisonnent sur l'ensemble en une seule fois, ce qui, selon les auteurs, viole la causalité et empêche le déploiement sur des flux en direct. Les modèles de vidéo en continu préservent l'ordre causal, mais ils diluent les anomalies rares et brèves à mesure qu'ils compressent leur mémoire, et ils ont tendance à déclencher un modèle lourd selon un calendrier fixe, que quelque chose se produise ou non.

ReactVAU répartit ces deux tâches entre un chemin rapide qui ne s'arrête jamais et un chemin lent qui dort la plupart du temps.

Filtre rapide, moteur de raisonnement lent, mémoire persistante

Le premier élément est un module de détection rapide (Fast Detection Module) léger, bâti sur le Spatial Grid Folding (SGF). Il fonctionne en continu, filtrant le flux à la recherche de tout ce qui paraît anormal sans invoquer de grand modèle. Le troisième élément est le module de raisonnement lent (Slow Reasoning Module), un composant lourd qui effectue la vérification sémantique et la description causale, la partie qui explique ce qui a été vu. Il reste en veille pendant les séquences normales et ne se réveille que lorsque le module rapide signale un événement suspect.

Entre les deux se trouve l'Anomaly-Aware Persistent Memory, ou AAPM, qui empêche les détails visuels importants de s'estomper à mesure que le flux compresse son propre historique. C'est là que les modèles de flux en continu que l'article critique ont tendance à perdre un événement transitoire : au moment où un modèle lourd regarderait, l'indice a déjà été moyenné dans l'arrière-plan. L'AAPM est la tentative de l'article de le retenir.

L'objectif est familier dans l'IA en production. Faire tourner un grand modèle coûte de l'argent, et le faire tourner sur des données qui n'en ont pas besoin est la façon la plus simple de gaspiller cet argent.

La surveillance en direct est une cible inhabituelle pour ce genre de calcul budgétaire. Le flux ne s'arrête jamais, les moments intéressants sont rares et brefs, et un système qui n'explique les événements que bien après qu'ils se sont produits est de peu d'utilité pour celui qui regarde. Le pari de ReactVAU est que l'événement rare doit être ce qui déclenche le calcul coûteux, et que tout le reste peut être traité par quelque chose de petit.

L'affirmation d'efficacité arrive sans chiffre

L'article indique que des expériences sur « de multiples benchmarks » montrent que ReactVAU fonctionne sous les contraintes du streaming tout en restant compétitif en détection d'anomalies et en raisonnement causal, avec une « efficacité computationnelle nettement améliorée » grâce à une invocation moins fréquente du modèle lourd. Le résumé ne cite aucun chiffre. Il n'y a pas de décompte d'images par seconde, pas de chiffre de précision, pas de latence, et pas de liste des benchmarks utilisés par les auteurs.

C'est normal pour un résumé, mais cela laisse l'affirmation d'efficacité comme une promesse plutôt qu'une mesure vérifiable par le lecteur. La page du projet, à l'adresse huiyuiui.github.io/React_VAU/, est l'endroit où se trouveraient les éléments de preuve.

L'architecture concentre aussi son risque dans la moitié bon marché. Si le module rapide manque une anomalie brève, le module lent ne se réveille jamais et le système déclare un flux normal. La fréquence à laquelle le filtre manque des événements, et la tenue de la mémoire sur des heures plutôt que des minutes, sont les questions qui déterminent si une conception à modèle en veille constitue une véritable économie ou une facture différée. Rien de tout cela n'est résolu par un résumé qui promet de l'efficacité sans y attacher le moindre chiffre.