Les modèles sub-200M explosent tandis que la frontière dépense des milliards

Quelque part entre les lancements de modèles, les levées de fonds et les vantardises de benchmarks, un post est apparu sur Hugging Face qui ne contient aucune nouvelle. Aucun lancement. Aucun score. Juste une note de remerciement : « Je ne sais pas si c'était nous, l'un de vous, ou peut-être nous tous à la fois, mais dernièrement nous avons assisté à une explosion de finetuning/pretraining de modèles de moins de 200 M de paramètres, et nous ne pourrions pas être plus heureux. » Elle se termine par un appel aux personnes qui font le travail : « continuez à venir, bricoleurs, tout cela est possible grâce à vous ! »

Le post ne cite aucun chiffre et ne mentionne aucun projet. Il n'en a pas besoin. Hugging Face est ce que ce coin de l'IA compte de plus proche d'un bureau de recensement ; quand son équipe dit que les petits modèles sont partout, c'est une donnée. Ce qui est intéressant, c'est ce en quoi consiste l'explosion, et ce qu'elle dit d'une industrie qui a passé deux ans à contempler le sommet du classement de la taille des modèles.

Petits modèles, entraînements démesurés

Le pari le plus net dans ce coin est BananaMind 2 Micro : 2,9 M de paramètres entraînés sur 75 B de tokens, soit un ratio d'environ 25 900 tokens pour chaque paramètre. Pour un modèle aussi petit, le ratio est volontairement déséquilibré. Le projet lui-même le qualifie d'« overtrained », ce qui est utile parce que c'est honnête : le déséquilibre est la stratégie, pas un accident. Donnez à un tout petit modèle un volume énorme de données et voyez quelle capacité survit par paramètre.

Ce que le projet n'a pas publié, c'est la performance. Aucun score de benchmark, aucun résultat d'évaluation, aucune comparaison. La promesse est « un maximum d'intelligence par paramètre », et pour l'instant c'est une intention, pas un résultat. Savoir si 25 900 tokens par paramètre achètent une réelle capacité est une question que le projet a renvoyée à sa session d'entraînement d'août.

L'overtraining n'est pas le seul levier qui fasse bouger les scores des petits modèles. Une expérience documentée a ajouté 4,5 points sur MATH-500 à un modèle quantisé à l'aide d'un contrôleur de surveillance externe. Les changements d'optimiseur, Muon à la place d'AdamW, se trouvent dans la même boîte à outils. Le schéma qui se dégage de tout cela : à cette échelle, les gains viennent des choix d'entraînement, pas de l'ajout de matériel.

Ce flot ne se limite pas aux modèles de langage. La même plateforme héberge un zoo de modèles de segmentation sémantique entraînés sur le Varied Drone Dataset, avec des variantes CABiNet et YOLO26 de Nano à XLarge et un meilleur score à 78,83 % de mIoU. Petits, spécialisés, bon marché à faire tourner : voilà la forme de ce que Hugging Face applaudit.

Un même toit, deux courses

Le contraste avec la frontière n'est pas une métaphore. Morgan Stanley a estimé la flotte de Meta AI à plus de 600 000 GPU NVIDIA H100, la plus grande sur Terre, répartie sur des superclusters personnalisés et épaulée par environ 1 200 chercheurs. Une seule session d'entraînement à cette échelle consomme des mégawatts et des semaines. La scène sub-200M fonctionne avec une fraction de cela : un GPU, un modèle de base, un jeu de données, un dépôt de poids public quand les choses fonctionnent.

Aucune des deux n'a tort. Meta publie aussi des poids ouverts, et son laboratoire se mesure à l'adoption plutôt qu'aux revenus. La différence, c'est ce que chaque camp poursuit : les laboratoires veulent la capacité brute, la scène des petits modèles veut la capacité par paramètre, et les deux reposent sur des économies très différentes. Les chiffres des deux côtés ne se ressemblent en rien :

Ces considérations économiques comptent, car les petits modèles tournent là où se trouvent les utilisateurs. Un modèle de 2,9 M de paramètres n'a pas besoin d'un supercluster pour servir des requêtes ; il peut tourner sur un téléphone, un ordinateur portable ou un boîtier d'inférence bon marché. Si les paris sur l'overtraining se révèlent payants, une part significative des charges de travail de niche n'aura plus du tout besoin de l'infrastructure de la frontière. C'est la question ouverte que cache la célébration.

Le fossé de crédibilité

La célébration passerait mieux si une plus grande partie du boom publiait ses résultats. Le zoo drone est ce à quoi ressemble une publication quand elle fait le travail : fiches de modèles, IoU par classe, matrices de confusion, configurations d'entraînement, le tout public. BananaMind 2 Micro est ce à quoi ressemble une publication quand elle n'est encore qu'un pari. Ce fossé mesure la distance qu'il reste au mouvement à parcourir.

Le post de Hugging Face ne prétend pas le contraire. Il remercie les bricoleurs d'avoir livré ; il ne prétend pas que les résultats sont déjà là. Lu avec indulgence, il marque une étape précoce, pas la destination. Le chiffre qui tranchera le débat est un tableau d'évaluation, issu de la session d'août de BananaMind ou de la prochaine douzaine de projets du même genre.

La frontière dépense des milliards et montre son travail dans des communiqués de presse. Les bricoleurs ne dépensent presque rien, et certains n'ont pas encore publié ce que les tokens dépensés ont permis d'obtenir. Le post rappelle que l'économie open source repose en partie sur la confiance, et que les projets qui publient sont ceux dont nous pouvons tous apprendre. L'explosion est réelle ; toutes les preuves ne sont pas encore arrivées.