Laboratoire
Recherche, expérimentation et open source : hardware, IoT, robotique, biotech et IA embarquée.
50 published articles
Analyse de benchmark
MMLU a dominé l'évaluation de l'IA pendant des années. Puis les modèles ont commencé à réussir le corrigé
MMLU a défini une génération d'évaluation de l'IA, mais la contamination des données d'entraînement et un corrigé erroné ont poussé les laboratoires de pointe vers des successeurs dynamiques comme HLE et GPQA Diamond.
2026-07-28
Recherche en IA
Kling publie deux benchmarks qui révèlent à quel point la vidéo générative est en réalité médiocre
KlingTeam présente MultiRef-Compass et KeyFrame-Compass, deux benchmarks qui poussent les modèles de génération vidéo au-delà du texte vers la vidéo et vers des tâches multi-références et conditionnées par images clés. Les premiers tests sur respectivement huit et neuf systèmes montrent des échecs systématiques dans la liaison des entités, la préservation de l’ordre temporel et la gestion de contraintes denses.
2026-07-26
Inflation du matériel
La pénurie de mémoire rend votre prochain gadget plus cher
Qualcomm et Roku mènent une vague de hausses de prix du matériel alors qu'une pénurie de mémoire, alimentée par la demande en IA, devrait durer jusqu'en 2027. Les augmentations se répercutent sur les smartphones, les appareils de streaming et autres appareils électroniques, sans aucun répit en vue.
2026-07-26
Matériel
La nouvelle puce IA Halo d'AMD cible le seul domaine que Nvidia ne contrôle pas : votre bureau
Le Ryzen AI Halo d'AMD cible le développement local d'IA avec 128 Go de mémoire unifiée, la prise en charge de modèles jusqu'à 200B de paramètres, et revendique des performances jusqu'à 7,3x plus rapides que l'Apple M4 Pro sur certaines tâches de génération d'images. La plateforme fonctionne sous Windows et Linux, un différenciateur face au DGX Spark de Nvidia qui ne supporte que Linux.
2026-07-25
Benchmark
Le fossé entre les LLM et la méthode scientifique : un nouveau benchmark révèle que les modèles peuvent décrire des données mais pas raisonner à travers elles
SDABench, un nouveau benchmark orienté vers les capacités, couvrant six compétences fondamentales de raisonnement scientifique et cinq domaines, teste 15 LLM et constate que les modèles sont performants sur l’analyse descriptive mais s’effondrent sur les tâches inférentielles et causales. L’article propose un cadre d’analyse d’erreurs en cinq étapes pour localiser les échecs.
2026-07-25
Benchmark & Tests
Les modèles de graphes ne sont pas testés sur des données aussi laides. Un nouveau benchmark change cela
OpenRTAG, un benchmark issu d'une équipe académique, organise les problèmes de qualité des TAG en une taxonomie 3×3 couvrant la dégradation du texte, de la structure et des étiquettes. Il teste les GNN traditionnels, les GNN améliorés par de grands modèles de langage et les modèles de base de graphes sur neuf jeux de données, révélant différents schémas de sensibilité que les études fragmentées antérieures avaient manqués.
2026-07-24
Évaluation des agents
Votre agent IA échoue constamment ? Ce pourrait être le harnais, pas le cerveau
PawBench, un benchmark open-source de l'équipe AgentScope, évalue systématiquement les modèles et les harnais d'agents ensemble. Les résultats montrent que la conception du harnais peut faire varier les scores de plus de 11 points pour les modèles plus petits, exposant un angle mort dans la manière dont les agents IA sont actuellement jugés.
2026-07-22
L'intelligence collective de Sakana AI devient physique
Des centaines de briques simples ont appris à reconnaître leur propre forme
Un collectif de centaines de briques modulaires identiques, chacune exécutant le même petit réseau neuronal avec une communication uniquement locale, peut reconnaître sa forme globale, détecter les dommages et guider la repousse. Publié dans Nature Communications, le système a atteint une précision de 100 % en matériel sur quatre formes.
2026-07-21
Codage agentique
Comment Grok 4.5 a pris la tête du SWE Marathon, et ce que cela signifie pour les agents de codage
Grok 4.5 mène désormais le classement du SWE Marathon, battant Claude 4 Opus et GPT-5. Le benchmark teste de véritables compétences en génie logiciel : corrections de bugs, ajouts de fonctionnalités et compréhension du code dans des dépôts réels. Ce résultat redessine le paysage concurrentiel des agents de codage IA.
2026-07-20
Recherche en IA
Comment BMW a intégré 16 000 tokens de contexte dans un GPU de 16 Go en repensant l'attention
Des chercheurs de BMW montrent que l'Attention Globale Hiérarchique, associée à une rétropropagation tronquée et à un stockage KV externe, permet à un GPU de 16 Go de s'entraîner sur 16 000 tokens, soit quatre fois la limite de l'attention dense, sans perte mesurable de qualité de l'adaptateur.
2026-07-20
NVIDIA
Nvidia et Hugging Face s'associent pour rendre l'entraînement distribué de diffusion banal
NeMo Automodel de Nvidia s'intègre désormais directement à Diffusers de Hugging Face, permettant un entraînement distribué de qualité production pour des modèles comme FLUX, Wan 2.1 et HunyuanVideo. La bibliothèque sous licence Apache 2.0 gère le parallélisme comme une bascule de configuration et permet aux points de contrôle affinés de se charger directement dans les pipelines d'inférence.
2026-07-19
IA et Robotique
Le RoboTTT de NVIDIA montre que la longueur de contexte est le prochain axe de passage à l'échelle pour les modèles de robots
Le RoboTTT de NVIDIA Research étend le contexte du modèle robotique à 8 000 pas de temps, soit trois ordres de grandeur au-delà des politiques actuelles, débloquant l'imitation en un seul coup à partir de vidéos humaines et des gains de performance de 87 %, suggérant la longueur de contexte comme un nouvel axe de passage à l'échelle pour les modèles de fondation robotique.
2026-07-17