Perceptron Mk1 parie que l'avenir de l'IA vidéo réside dans l'observation, pas dans la génération

La fracture la plus importante dans l'IA vidéo n'a rien à voir avec le réalisme des clips. Elle oppose les modèles qui génèrent de la vidéo aux modèles qui la comprennent. Les problèmes d'entreprise commencent rarement par une invite du type « génère une scène d'entrepôt cinématographique ». Ils commencent par des questions : l'opérateur a-t-il scanné le code-barres avant de déposer le carton sur le convoyeur ? La préhension du robot a-t-elle réussi ou a-t-elle glissé ? Quand le chariot élévateur a-t-il bloqué la caméra ?

Ce sont des tâches de compréhension : raisonnement temporel, suivi d'objets, OCR, localisation d'événements, ancrage spatial, sortie structurée. Les modèles de génération n'en offrent aucune, et tout classement des « meilleurs modèles vidéo » qui mélange les deux catégories le masque.

Sommaire

• La fracture qui compte : génération contre compréhension
• Perceptron Mk1 : conçu pour observer, tarifé pour tourner
• Pourquoi la vidéo est plus difficile que les images
• Deux familles de produits, deux ensembles concurrentiels
• Comment lire les benchmarks vidéo sans se tromper
• Où va la compréhension vidéo

La fracture qui compte : génération contre compréhension

Perceptron Mk1 se situe dans la branche de la compréhension. Perceptron le présente comme un modèle vision-langage propriétaire phare pour l'image, la vidéo et l'aide au raisonnement, cadre le lancement autour de la « vidéo de pointe et du raisonnement incarné » et documente l'identifiant du modèle comme perceptron-mk1 : entrées texte, image et vidéo, sortie texte, fenêtre de contexte de 32K tokens.

Au-delà des démos, il existe une raison de recherche pour laquelle cette catégorie compte. S-EMBER, un benchmark de compréhension vidéo issu de notre rapport sur l'ancrage temporel, a constaté que le raisonnement sémantique continue de s'améliorer avec l'échelle, tandis que la précision de l'ancrage temporel reste stable lorsqu'on augmente les paramètres, la résolution ou les images par seconde. Les modèles plus grands n'obtiennent pas des horodatages plus fiables.

Perceptron Mk1 : conçu pour observer, tarifé pour tourner

La fiche technique officielle : 0,15 $ par million de tokens d'entrée, 1,50 $ par million de tokens de sortie, prise en charge de PNG, JPEG, WebP, MP4 et WebM, raisonnement optionnel, et vidéo analysée à une fréquence d'images dynamique allant jusqu'à 2 FPS dans le contexte de 32K. Perceptron affirme que Mk1 est le premier modèle d'une nouvelle famille propriétaire, qu'il dépasse l'ancienne série open-source Isaac en image, vidéo et raisonnement incarné, et qu'il égale les performances de pointe à un coût nettement inférieur. Le guide est à jour au 12 mai 2026 et avertit que les pages des fournisseurs et les conditions d'accès évoluent rapidement ; vérifiez les prix avant tout achat.

Le prix est la partie discrète. L'inférence vidéo coûte cher, car un clip se transforme en de nombreux tokens visuels. Pour donner un ordre de grandeur, notre couverture du lancement de Claude Sonnet 5 a relevé un prix d'introduction de 2 $ par million de tokens d'entrée et de 10 $ par million de tokens de sortie, et le changement de tarification de DeepSeek V4 a fixé les tokens de sortie à 1,74 $ par million pendant les heures ouvrables. À ces chiffres, Mk1 sous-cote les deux modèles phares tout en acceptant des entrées vidéo.

Les surfaces produit ressemblent à une liste de contrôle de workflow, pas à un chatbot. La vidéo Q&A accepte un MP4 ou un WebM et répond à des questions ancrées dans la vidéo. Le découpage vidéo renvoie des segments horodatés. L'apprentissage en contexte permet de montrer un clip de référence et de rechercher des correspondances dans de nouvelles séquences. La sortie structurée contraint les réponses à des modèles Pydantic, des schémas JSON ou des regex, avec le point, la boîte, le polygone, la piste et le clip comme sorties de première classe.

Le matériel de lancement rend l'intention explicite. Une équipe logistique ne veut pas d'un modèle qui se contente de dire qu'une palette est présente. Elle veut un enregistrement d'événement sur lequel elle peut agir : {"event": "pallet_arrived", "camera": "dock_3", "start": 217.4, "end": 229.8, "confidence": 0.84}.

Pourquoi la vidéo est plus difficile que les images

Une image fixe vous dit qu'une tasse est sur une table. Une vidéo vous dit que quelqu'un l'a prise, a hésité, a versé de l'eau, l'a reposée, l'a renversée et a essuyé la table. Chaque événement dépend du temps, et le temps introduit des problèmes que les modèles d'images ne rencontrent jamais.

Le guide en énumère sept : l'ordre temporel (le code-barres a-t-il été scanné avant que le carton atteigne le convoyeur), la permanence des objets (le même carton passant derrière un chariot), la reconnaissance d'actions (se pencher près d'une machine ne signifie pas appuyer sur l'arrêt d'urgence), l'ancrage temporel (l'horodatage est le produit), la fusion multimodale (diapositives, parole, tableaux de score, alarmes), la mémoire à long horizon (des heures de vidéo, des événements rares) et la structure de sortie (JSON, boîtes, pistes, clips). C'est pourquoi les performances en VQA d'images ne se transfèrent pas.

Deux familles de produits, deux ensembles concurrentiels

La branche de la génération est celle que tout le monde connaît : Veo 3.1 et Veo 3.1 Lite de Google, Runway Gen-4.5, Luma Ray, Kling, Seedance, et Sora 2 Pro d'OpenAI avec audio synchronisé. Une note de planification : la documentation actuelle de l'API Sora marque les modèles de génération Sora 2 et l'API Videos comme obsolètes, avec un arrêt prévu le 24 septembre 2026.

La branche de la compréhension a sa propre structure. Gemini est la référence généraliste : le modèle nativement multimodal Gemini 3.1 Pro gère jusqu'à une fenêtre de contexte de 1M tokens, et sa documentation vidéo couvre les horodatages, l'API Files, Cloud Storage et les URL YouTube. Qwen3-VL est la voie des poids ouverts, du dense 2B à un mixture-of-experts 235B-A22B, avec un contexte natif de 256K extensible à 1M. Cosmos Reason 2, en tailles 2B, 8B et 32B, est conçu pour l'IA physique avec localisation de points 2D et 3D. TwelveLabs divise le travail : Marengo pour la recherche sémantique, Pegasus pour les résumés et la vidéo-vers-texte.

Llama 4 Scout et Maverick sont des modèles multimodaux ouverts entraînés sur des images fixes de vidéo, utiles dans les systèmes à base de frames, mais ce ne sont pas des API natives d'analyse vidéo. Claude est centré sur l'image, au mieux comme couche de raisonnement sur des frames extraites. L'offre API d'OpenAI repose sur des entrées texte et image, si bien que les équipes construisent des pipelines d'extraction de frames. Mk1 se situe clairement dans la branche de la compréhension : Gemini est le benchmark de capacités auquel le mesurer, tandis que Qwen3-VL et Cosmos Reason 2 restent les alternatives à poids ouverts lorsque l'auto-hébergement compte.

Comment lire les benchmarks vidéo sans se tromper