La plateforme OlmoEarth d’Ai2 transforme l’inférence satellitaire en un problème de systèmes distribués

Lorsque l’Allen Institute for AI (Ai2) a entrepris de construire une plateforme pour l’inférence géospatiale, il s’est heurté à un mur que peu de systèmes de ML rencontrent : l’imagerie satellite n’est pas nette. Une seule tâche de fine-tuning peut déplacer des téraoctets de données et durer des heures. Les entrées couvrent plusieurs bandes spectrales, types de capteurs, pas de temps et fournisseurs, chacun avec des projections et résolutions différentes. Les nuages bloquent les pixels. Les bandes manquantes sont courantes. Et le résultat est une carte, ce qui signifie que chaque prédiction doit rester verrouillée sur la même grille géographique que ses voisines.

La plateforme OlmoEarth, détaillée dans un récent article sur Hugging Face, est la réponse d’Ai2 à ces contraintes. Conçue pour les gouvernements et les ONG qui ont besoin de surveiller la déforestation, la santé des cultures ou les risques d’incendie à des échelles nationales à continentales, la plateforme traite l’inférence d’abord comme un problème de systèmes distribués et ensuite comme un problème de modélisation.

Trois étapes, adaptées au matériel

L’idée centrale est que le temps GPU est coûteux et que la majeure partie du temps d’une tâche d’inférence est consacrée à l’acquisition et à la préparation des données, pas au modèle lui-même. La plateforme divise chaque tâche en trois étapes, chacune attribuée au matériel le mieux adapté.

L’acquisition et le prétraitement des données s’exécutent sur des instances CPU avec des E/S élevées. Elles récupèrent, reprojettent, alignent et normalisent les images provenant de sources comme Sentinel-2 et Landsat, puis les écrivent dans un format optimisé pour un chargement rapide sur GPU. L’étape d’inférence s’exécute sur des GPUs, effectue la passe avant du modèle et diffuse les sorties minimalement traitées directement vers le stockage blob. Le post-traitement, qui assemble les sorties par fenêtre en rasters homogènes dans des formats comme Zarr ou GeoTIFF, revient au CPU.

Les chargeurs de données multiprocessus maintiennent chaque GPU alimenté en continu. Cette division empêche le matériel le plus coûteux du système de rester inactif pendant que les opérations plus lentes se terminent.

L’acquisition de données comme goulot d’étranglement

Acquérir les bons pixels est plus difficile que de les traiter. La plateforme doit interroger les catalogues STAC de plusieurs fournisseurs pour trouver quelles scènes couvrent une région et une période données. Pour l’imagerie optique, l’objectif est la scène la moins nuageuse ; pour le radar à synthèse d’ouverture, les canaux de polarisation pertinents comptent. Une grande tâche peut générer des milliers de requêtes de métadonnées, bien plus que ce que les services externes de l’ESA ou de Microsoft Planetary Computer sont conçus pour traiter simultanément.

Ai2 contourne ce problème en maintenant son propre index d’imagerie satellite, mis à jour via les notifications SNS des sources de données AWS Open Data et en interrogeant les catalogues amont toutes les quelques minutes. Au moment de l’exécution, la plateforme sélectionne la meilleure source disponible et effectue des lectures par fenêtre sur des formats optimisés pour le cloud comme COG ou Zarr, ne récupérant que les octets nécessaires pour une partition donnée au lieu de télécharger des scènes entières. Le même index alimente les outils d’annotation, servant des tuiles de n’importe quelle scène indexée via le même système de lecture par fenêtre.

Résilience à l’échelle planétaire

À l’échelle visée par cette plateforme, les échecs ne sont pas des exceptions ; ce sont des intrants de conception. Les fournisseurs ralentissent ou deviennent hors ligne. Les métadonnées pointent vers des images qui s’avèrent manquer d’une bande. La couverture nuageuse laisse trop peu d’observations utilisables. Les tâches plantent.

La plateforme OlmoEarth traite chaque tâche comme idempotente et réentrante. Pour chaque partition géographique et étape, elle provisionne une machine virtuelle exécutant un conteneur Docker avec les paramètres de la tâche. L’exécuteur effectue le travail, renvoie le résultat et s’arrête. En cas d’échec, le système réessaie automatiquement, en se rabattant sur d’autres fournisseurs si disponibles. Un processus de surveillance distinct détecte les exécuteurs qui ont calé et redémarre leurs tâches.

Résultats concrets : accélération de 155x pour une fraction de centime

La démonstration la plus spectaculaire de la plateforme à ce jour est une carte des risques d’incendie couvrant toute l’Amérique du Nord. Au pic, l’exécution a utilisé environ 19 600 CPUs et 994 GPUs en parallèle, avec un débit réseau dépassant 168 Go/s. Ce niveau de parallélisme a réduit un temps de calcul séquentiel estimé à 4 737 heures à environ 30,5 heures de temps réel, soit une accélération de 155x.

Le coût : des fractions de centime par kilomètre carré. La plateforme peut déjà exécuter des inférences sur des zones de taille continentale en environ un jour, traitant des dizaines de téraoctets d’imagerie. Ces économies sont complétées par la publication du modèle OlmoEarth v1.1 de mi-2026, qui réduit les coûts de calcul jusqu’à 3x par rapport au v1 original tout en maintenant des performances similaires grâce à une technique plus intelligente de fusion de tokens.

Le parallélisme n’est pas illimité, bien sûr. La plateforme expose plusieurs paramètres par tâche : le fan-out est limité par les quotas cloud ; la résolution de sortie fait un compromis entre volume de données et détails ; la taille du modèle fait un compromis entre temps GPU et précision ; la mise en cache des images brutes fait un compromis entre stockage et vitesse pour les exécutions répétées sur la même zone. Le bon réglage dépend de la tâche et du budget.

La suite

La feuille de route d’Ai2, façonnée par les retours des partenaires, comprend des exécutions de modèles automatisées déclenchées par de nouvelles images dans l’index, la détection de changements et des alertes qui signalent la déforestation ou les inondations sous forme de notifications push plutôt que de rasters à inspecter manuellement, et des outils agentiques qui abaissent la barrière pour les utilisateurs non spécialistes afin d’effectuer un travail qui nécessitait auparavant un chercheur en ML expérimenté. L’équipe travaille également sur un modèle d’embedding dédié ; des embeddings pré-calculés à l’échelle mondiale pourraient remplacer les passes avant complètes sur des images brutes pour de nombreuses tâches, rendant les charges de travail considérablement plus rapides et moins chères.

La plateforme fonctionne actuellement sur Google Cloud, mais l’architecture est conçue pour prendre en charge plusieurs clouds et des déploiements dans l’environnement de calcul propre à un partenaire. Pour les organisations travaillant dans la conservation, la sécurité alimentaire, la réponse aux catastrophes et le climat, cette flexibilité est importante.

Les modèles de base géospatiaux sont encore une technologie émergente, et l’écart entre ce que ces équipes ont besoin de comprendre de la planète et ce que leurs budgets et ressources techniques permettent reste large. Ai2 parie que traiter l’inférence d’abord comme un problème d’infrastructure peut aider à le combler.