Tinker-atropos relie les expériences RL au cadre Atropos

Le 11 avril 2025, Nous Research a publié tinker-atropos, une couche d'intégration open-source qui relie l'API Tinker au cadre d'apprentissage par renforcement Atropos. Cette publication cible un problème bien connu en RL appliquée : le couplage entre la boucle d'entraînement, l'orchestrateur de déroulements et l'hôte d'environnement signifie que modifier un composant casse souvent les autres.

Tinker-atropos sépare ces trois préoccupations en services distincts. Le service d'entraîneur gère les paramètres du modèle. Le service de déroulement collecte l'expérience en exécutant la politique sur les environnements. Le service d'environnement héberge les instances de simulation. Chaque service peut être dimensionné indépendamment, redémarré sans affecter les autres et remplacé par des implémentations alternatives. Cette séparation est la plus importante pour le RL à grande échelle où la simulation d'environnement est le goulot d'étranglement.

L'architecture est une conception standard de microservices : gRPC entre les services, état stocké dans Redis, environnements passés sous forme de Protobuf. Mais son application au RL est relativement nouvelle dans l'espace des outils open-source. La plupart des frameworks RL comme Stable-Baselines3, RLlib et CleanRL regroupent tous les services en un seul processus ou nécessitent du code de shim personnalisé pour une configuration distribuée. Tinker-atropos fournit le câblage prêt à l'emploi.

D'après les notes de version : l'équipe a testé tinker-atropos avec une tâche de contrôle continu (MuJoCo Humanoid) sur 16 instances d'environnement réparties sur 4 nœuds. L'entraîneur maintenait une utilisation GPU de 95 % tandis que les étapes d'environnement s'exécutaient de manière asynchrone sur des nœuds CPU. Le débit était de 12 000 images par seconde, ce que l'équipe note comme comparable aux configurations optimisées sur une seule machine pour la même tâche, mais désormais horizontalement évolutif.

La pile logicielle utilise Python 3.11, gRPC pour la communication entre services, Redis pour l'état et Atropos comme bibliothèque RL de base. La version inclut des fichiers Docker Compose pour un déploiement local sans configuration et des manifests Kubernetes pour le déploiement en cluster. La licence est MIT.

Pour les chercheurs qui construisent sur le cadre Atropos, tinker-atropos supprime l'un des principaux points de friction pour le passage à l'échelle des expériences RL au-delà d'un poste de travail unique. Il ne résout pas la difficulté de l'environnement, celle-ci dépend de la simulation. Mais il permet d'ajouter plus d'instances d'environnement ou de remplacer une architecture d'entraîneur par un changement de configuration, et non une refactorisation de code.