Un modèle de 12B bat un modèle de 90B. L'orthodoxie du scaling est en difficulté

Mistral AI a discrètement réécrit l'équation de l'efficacité pour les modèles multimodaux. Pixtral-12B, un modèle vision-langage de 12 milliards de paramètres publié sous licence Apache 2.0, surpasse de grands concurrents open-source sur une série de benchmarks tout en fonctionnant avec une fraction du budget de calcul. Cela inclut Llama-3.2 90B de Meta (90 milliards de paramètres). Olmo-eval d’Ai2 offre aux développeurs de LLM un…

L'architecture du modèle s'écarte de la tendance du secteur qui consiste à réutiliser des backbones de vision existants. Mistral a entraîné un nouvel encodeur de vision à partir de zéro. Il ingère les images à leur résolution et rapport hauteur/largeur d'origine plutôt que de les redimensionner ou de les recadrer pour les adapter à une grille d'entrée rigide. Cette flexibilité permet aux utilisateurs de contrôler le budget de jetons par image, un choix de conception important pour les scénarios de déploiement où la latence ou le coût sont contraints. Fast-LeWM : La prédiction parallèle de préfixes…

Sur les benchmarks multimodaux standard, Pixtral-12B obtient des résultats compétitifs par rapport à des modèles ouverts bien plus grands, et les dépasse même dans plusieurs cas. Sur le benchmark nouvellement intégré MM-MT-Bench, qui évalue les modèles vision-langage sur des tâches de raisonnement du monde réel comme l'interprétation de graphiques et l'analyse de documents, le modèle montre des avantages constants par rapport à Qwen-2-VL 7B et Llama-3.2 11B.

Ce qui distingue Pixtral des autres modèles multimodaux ouverts actuels, c'est qu'il n'échange pas les capacités linguistiques contre les performances visuelles. De nombreux VLM ouverts se dégradent sur des tâches purement textuelles parce que leurs composants visuels cannibalisent les paramètres partagés. Mistral affirme que Pixtral tient bon sur les évaluations textuelles uniquement. Si cela est vérifié de manière indépendante, cette affirmation comble l'écart entre les modèles ouverts multimodaux et purement linguistiques. IFBench : le nouveau benchmark testant le respect des…

La publication inclut également MM-MT-Bench, un ensemble organisé de 250 questions multi-tours couvrant cinq catégories de tâches : questions-réponses documentaires, raisonnement sur des graphiques, compréhension de scènes, OCR et génération créative. Mistral fournit à la fois les données de benchmark et un pipeline d'évaluation standardisé, visant à remplacer les configurations d'évaluation fragmentées et souvent non reproductibles qui ont entravé la recherche ouverte en VLM. Votre agent IA a réussi le test par hasard. Maintenant,…

La fenêtre de contexte de 128 000 jetons de Pixtral-12B prend en charge un nombre illimité d'images, ce qui le rend adapté aux flux de travail sur documents longs où des PDF ou des présentations de plusieurs pages doivent être ingérés en une seule passe. Le modèle fonctionne sur un seul GPU grand public, un RTX 4090, ce qui suggère qu'une inférence locale abordable est plausible pour de nombreux cas d'utilisation. Votre modèle d'IA prétend lire 1 million de tokens. Il…

L'importance plus large est un défi à l'orthodoxie du scaling. Si un modèle de 12B peut surpasser un modèle de 90B sur des tâches vision-langage, l'argument selon lequel « plus grand est toujours meilleur » pour la capacité multimodale perd de sa force. Des architectures axées sur l'efficacité et des données d'entraînement de haute qualité, et non le nombre brut de paramètres, pourraient déterminer le prochain palier de performance des modèles ouverts.

Le choix de Mistral d'utiliser la licence Apache 2.0 garantit une utilisation commerciale sans restrictions, positionnant Pixtral comme un potentiel backbone pour les systèmes de recherche et de production. Le modèle est disponible sur Hugging Face, et le code du benchmark est également open-source.