Psyche, prochaine phase : décentraliser l'entraînement IA sur Solana

Nous Research a annoncé la prochaine phase de Psyche, son projet d'infrastructure ouverte pour décentraliser l'entraînement IA. La nouvelle phase introduit une couche de coordination peer-to-peer construite sur la blockchain Solana. Cela permet de distribuer les tâches d'entraînement sur des GPU sous-utilisés, des configurations de jeu aux instances cloud inactives, sans orchestrateur central. L'annonce positionne Psyche comme un défi direct au modèle cluster-as-a-service qui domine le pré-entraînement à grande échelle.

La conception centrale : un contrat intelligent Solana agit comme un tableau d'affichage décentralisé. Les opérateurs de nœuds soumettent la disponibilité des GPU, les prix et les attestations de performance. Les demandeurs d'entraînement soumettent des spécifications de tâche couvrant l'architecture du modèle, la taille du lot et le temps d'exécution prévu, accompagnés d'un dépôt en SOL. Le contrat associe les tâches aux nœuds, séquestre le paiement et libère le paiement uniquement lorsque l'époque d'entraînement est attestée à la satisfaction du contrat via un mécanisme de preuve de contribution. L'architecture s'inspire du projet antérieur DisTrO de Nous Research, qui se concentrait sur l'efficacité de la communication. Psyche l'étend à la coordination économique.

La phase 1 de Psyche a été lancée fin 2024 et se concentrait sur la couche de communication : comment fragmenter l'échange de gradients sur un réseau tolérant aux fautes byzantines. La phase 2 ajoute la couche de coordination basée sur Solana et un protocole d'attestation léger qui ne nécessite pas de vérification répétée sur la chaîne pour chaque étape d'entraînement. L'équipe rapporte un déploiement test avec 48 nœuds utilisant 192 GPU de qualité consommateur atteignant 85 % du débit d'un cluster équivalent avec tous les nœuds dans le même rack. La pénalité de 15 % provient de la latence réseau et des frais généraux d'attestation.

La signification pratique : l'entraînement de grands modèles nécessite actuellement l'accès à des clusters dédiés ou à des instances spot de quelques fournisseurs cloud. Le modèle de Psyche permettrait à un laboratoire universitaire d'agréger des cycles inactifs du département d'informatique d'une université sans construire un système de fichiers partagé ni faire confiance à un planificateur central. Le paiement en tokens SOL crée un alignement des incitations : les opérateurs de nœuds gagnent pour le calcul contribué, les demandeurs paient uniquement pour les étapes d'entraînement réussies.

Les risques abondent. L'entraînement décentralisé à grande échelle n'a jamais été démontré pour des modèles plus grands que 7 milliards de paramètres. La surcharge de communication, la latence variable des nœuds et la détection de nœuds malveillants ne sont pas résolues à l'échelle de plus de 1000 nœuds. La blockchain Solana peut gérer un débit de transactions élevé mais à un coût qui pourrait augmenter si la couche de coordination devient un goulot d'étranglement. Nous Research positionne Psyche comme une infrastructure de recherche, non prête pour la production. L'équipe invite à des audits tiers du protocole d'attestation.

Néanmoins, l'ambition marque un nouveau front dans la décentralisation de l'infrastructure IA. Si Psyche fonctionne à grande échelle, elle redéfinit qui peut entraîner un grand modèle.