Tests & Benchmarks
Comparaisons, tests de performance et évaluations de modèles.
3 published articles
Évaluation des agents
Les benchmarks en sandbox cachent comment les agents échouent vraiment, l'Université de Hong Kong vient de résoudre ce problème
UniClawBench évalue les agents proactifs sur cinq capacités fondamentales dans 400 tâches bilingues réelles, en utilisant des conteneurs Docker en direct et une évaluation en boucle fermée impliquant trois agents. Il dissocie les capacités du modèle de base des choix de framework, révélant où les agents échouent vraiment.
2026-07-13
Bancs d'essai & tests
Treble Technologies et Hugging Face lancent le classement FFASR pour la reconnaissance vocale en champ lointain
Le nouveau classement FFASR de Treble Technologies et Hugging Face évalue les modèles ASR dans neuf conditions, incluant la réverbération, le bruit de fond et la distance au microphone. Les premières soumissions montrent que le WER en champ lointain à faible SNR est plusieurs fois supérieur à celui en champ proche, soulignant le besoin de modèles acoustiquement robustes.
2026-07-02
Performances
Gemma 4 tourne presque 90 % plus vite dans Ollama 0.31 avec la prédiction multi-tokens
Ollama 0.31 introduit la prédiction multi-tokens pour Gemma 4 sur Apple Silicon, atteignant près de 90 % de génération de tokens plus rapide sur les benchmarks de codage. L'accélération provient d'un modèle de brouillon auto-ajusté et d'un noyau MLX personnalisé qui élimine les lectures redondantes de poids.
2026-06-29