petits modèles de langage
4 published articles
Open Source
Les modèles sub-200M explosent tandis que la frontière dépense des milliards
Hugging Face a publié un remerciement aux bricoleurs à l'origine d'une explosion de finetuning et de pretraining des modèles de moins de 200 M de paramètres. Pas de benchmarks, pas de lancements, juste un signal que le centre de gravité de l'IA open source se déplace.
2026-08-18
IA open source
Boris-2 nourrit son modèle 125M avec 90B tokens, et son 250M avec seulement 60B
Boris-2 pré-annonce trois petits modèles avec des budgets de tokens déséquilibrés : le 125M reçoit 90B tokens, le 250M seulement 60B. L'entraînement se déroule du 12 août au 10 septembre, sans benchmark partagé, seulement l'ambition déclarée d'atteindre la puissance de SmolLM2-135M.
2026-08-16
Course des petits modèles
BananaMind 2 Micro : 2,9M de paramètres, 75B de jetons et un pari sur un surentraînement extrême
BananaMind 2 Micro comptera 2,9M de paramètres et sera entraîné sur 75B de jetons, soit environ 25 900 jetons par paramètre. L'entraînement commence le 3 août, la sortie est estimée du 4 au 6 août, et un aperçu public de BananaMind 2 Pro arrive le même jour. Aucun benchmark n'a été partagé.
2026-08-06
LLMs & Modèles
La recette de cascade de Mistral réduit les LLMs sans tuer le raisonnement
La distillation en cascade de Mistral réduit les grands modèles en petits tout en préservant le raisonnement et la vision. La variante 3B offre des capacités qui nécessitaient auparavant dix fois plus de paramètres, et le tout sous licence Apache 2.0.
2026-07-17