La plataforma OlmoEarth de Ai2 convierte la inferencia satelital en un problema de sistemas distribuidos

Cuando el Allen Institute for AI (Ai2) se propuso construir una plataforma para inferencia geoespacial, se topó con un obstáculo que otros sistemas de ML rara vez encuentran: las imágenes satelitales no son ordenadas. Un solo trabajo de ajuste fino puede mover terabytes de datos y ejecutarse durante horas. Las entradas abarcan múltiples bandas espectrales, tipos de sensores, pasos de tiempo y proveedores, cada uno con diferentes proyecciones y resoluciones. Las nubes bloquean píxeles. Las bandas faltantes son algo habitual. Y la salida es un mapa, lo que significa que cada predicción debe permanecer anclada a la misma cuadrícula geográfica que sus vecinos.

La plataforma OlmoEarth, detallada en una publicación reciente en Hugging Face, es la respuesta de Ai2 a esas limitaciones. Diseñada para gobiernos y ONG que necesitan monitorear la deforestación, la salud de los cultivos o el riesgo de incendios forestales a escalas nacionales o continentales, la plataforma trata la inferencia como un problema de sistemas distribuidos primero y un problema de modelado después.

Tres etapas, adaptadas al hardware

La idea central es que el tiempo de GPU es costoso y la mayor parte del tiempo de un trabajo de inferencia se gasta en la adquisición y preparación de datos, no en el modelo en sí. La plataforma divide cada trabajo en tres etapas, cada una asignada al hardware más adecuado.

La adquisición y el preprocesamiento de datos se ejecutan en instancias de CPU con alta E/S. Obtienen, reproyectan, alinean y normalizan imágenes de fuentes como Sentinel-2 y Landsat, luego las escriben en un formato optimizado para una carga rápida en GPU. La etapa de inferencia se ejecuta en GPU, realiza el pase directo del modelo y transmite las salidas mínimamente procesadas directamente al almacenamiento de blobs. El posprocesamiento, que une las salidas por ventana en rásteres continuos en formatos como Zarr o GeoTIFF, vuelve a la CPU.

Los cargadores de datos multiproceso mantienen cada GPU alimentada continuamente. La división evita que el hardware más costoso del sistema permanezca inactivo mientras las operaciones más lentas finalizan.

La adquisición de datos como cuello de botella

Adquirir los píxeles correctos es más difícil que procesarlos. La plataforma debe consultar los catálogos STAC de múltiples proveedores para encontrar qué escenas cubren una región y un rango de tiempo determinados. Para imágenes ópticas, el objetivo es la escena menos nublada; para el radar de apertura sintética, los canales de polarización relevantes importan. Un trabajo grande puede generar miles de consultas de metadatos, muchas más de las que los servicios externos de la ESA o Microsoft Planetary Computer están diseñados para manejar de forma concurrente.

Ai2 evita esto manteniendo su propio índice de imágenes satelitales, actualizado mediante notificaciones SNS de fuentes de datos abiertos de AWS y mediante sondeos de catálogos upstream cada pocos minutos. En tiempo de ejecución, la plataforma selecciona la mejor fuente disponible y realiza lecturas por ventana contra formatos optimizados para la nube como COG o Zarr, recuperando solo los bytes necesarios para una partición determinada en lugar de descargar escenas completas. El mismo índice alimenta las herramientas de anotación, sirviendo mosaicos de cualquier escena indexada a través del mismo sistema de lectura por ventana.

Resiliencia a escalas planetarias

En la escala a la que apunta esta plataforma, los fallos no son excepciones; son entradas de diseño. Los proveedores se vuelven lentos o se desconectan. Los metadatos apuntan a imágenes que resultan tener una banda faltante. La cobertura de nubes deja muy pocas observaciones utilizables. Las tareas fallan.

La plataforma OlmoEarth trata cada tarea como idempotente y reentrante. Para cada partición geográfica y etapa, aprovisiona una máquina virtual que ejecuta un contenedor Docker con los parámetros de la tarea. El ejecutor realiza el trabajo, devuelve el resultado y se apaga. Si falla, el sistema reintenta automáticamente, recurriendo a proveedores alternativos cuando estén disponibles. Un proceso de monitoreo separado detecta ejecutores que se han detenido y reinicia sus tareas.

Resultados concretos: aceleración de 155x a fracciones de centavo

La demostración más dramática de la plataforma hasta ahora es un mapa de riesgo de incendios forestales que cubre toda América del Norte. En su punto máximo, la ejecución utilizó aproximadamente 19.600 CPUs y 994 GPUs en paralelo, con un rendimiento de red superior a 168 GB/s. Ese nivel de paralelismo redujo un estimado de 4.737 horas de cómputo en serie a aproximadamente 30,5 horas de tiempo de reloj de pared, una aceleración de 155x.

El costo: fracciones de un centavo por kilómetro cuadrado. La plataforma ya puede ejecutar inferencias en áreas a escala continental en aproximadamente un día, procesando decenas de terabytes de imágenes. Esa economía se complementa con el lanzamiento del modelo OlmoEarth v1.1 de mediados de 2026, que reduce los costos de cómputo hasta 3 veces en comparación con el v1 original, manteniendo un rendimiento similar mediante una técnica de fusión de tokens más inteligente.

El paralelismo no es ilimitado, por supuesto. La plataforma expone varios controles por trabajo: la expansión (fan-out) está limitada por las cuotas de la nube; la resolución de salida intercambia volumen de datos por detalle; el tamaño del modelo intercambia tiempo de GPU por precisión; el almacenamiento en caché de imágenes sin procesar intercambia almacenamiento por velocidad en ejecuciones repetidas sobre la misma área. La configuración correcta depende de la tarea y el presupuesto.

Lo que sigue

La hoja de ruta de Ai2, moldeada por los comentarios de socios, incluye ejecuciones automatizadas de modelos activadas por nuevas imágenes en el índice, detección de cambios y alertas que presentan deforestación o inundaciones como notificaciones push en lugar de rásteres que alguien debe inspeccionar manualmente, y herramientas agentivas que reducen la barrera para que usuarios no especializados realicen trabajos que antes requerían un investigador de ML experimentado. El equipo también está trabajando en un modelo de incrustación (embedding) dedicado; las incrustaciones precalculadas a escala global podrían reemplazar los pases completos hacia adelante sobre imágenes sin procesar para muchas tareas, haciendo que las cargas de trabajo sean sustancialmente más rápidas y económicas.

La plataforma se ejecuta actualmente en Google Cloud, pero la arquitectura está diseñada para admitir múltiples nubes e implementaciones dentro del propio entorno de cómputo de un socio. Para las organizaciones que trabajan en conservación, seguridad alimentaria, respuesta a desastres y clima, esa flexibilidad es importante.

Los modelos fundacionales geoespaciales siguen siendo una tecnología emergente, y la brecha entre lo que estos equipos necesitan entender sobre el planeta y lo que sus presupuestos y recursos técnicos permiten sigue siendo amplia. Ai2 apuesta a que tratar la inferencia como un problema de infraestructura primero puede ayudar a cerrarla.