منصة OlmoEarth من Ai2 تحول استدلال الأقمار الصناعية إلى مشكلة أنظمة موزعة

عندما شرع معهد ألين للذكاء الاصطناعي (Ai2) في بناء منصة للاستدلال الجغرافي المكاني، اصطدم بحائط نادرًا ما تواجهه أنظمة التعلم الآلي الأخرى: صور الأقمار الصناعية ليست مرتبة. يمكن لوظيفة ضبط دقيق واحدة نقل تيرابايت من البيانات والاستمرار لساعات. تمتد المدخلات عبر نطاقات طيفية متعددة وأنواع أجهزة استشعار وخطوات زمنية ومزودين، لكل منها إسقاطات ودقة مختلفة. الغيوم تحجب البكسلات. الفقدان في النطاقات أمر روتيني. والناتج هو خريطة، مما يعني أن كل توقع يجب أن يظل مرتبطًا بنفس الشبكة الجغرافية مثل جيرانه.

منصة OlmoEarth، الموضحة بالتفصيل في منشور حديث على Hugging Face، هي إجابة Ai2 لتلك القيود. مصممة للحكومات والمنظمات غير الحكومية التي تحتاج إلى مراقبة إزالة الغابات أو صحة المحاصيل أو خطر حرائق الغابات على المستويات الوطنية والقارية، تتعامل المنصة مع الاستدلال كمشكلة أنظمة موزعة أولاً ومشكلة نمذجة ثانيًا.

ثلاث مراحل، متوافقة مع الأجهزة

الرؤية الأساسية هي أن وقت وحدة معالجة الرسوميات مكلف، ومعظم وقت وظيفة الاستدلال يُنفق على جمع البيانات وإعدادها، وليس على النموذج نفسه. تقسم المنصة كل وظيفة إلى ثلاث مراحل، يتم تعيين كل منها للجهاز الأنسب لها.

يعمل جمع البيانات والمعالجة المسبقة على مثيلات وحدة المعالجة المركزية ذات الإدخال/الإخراج العالي. تجلب الصور من مصادر مثل Sentinel-2 وLandsat وتعيد إسقاطها وتوائمها وتطبيعها، ثم تكتبها بتنسيق محسّن لتحميل سريع لوحدة معالجة الرسوميات. تعمل مرحلة الاستدلال على وحدات معالجة الرسوميات، وتنفذ المرور الأمامي للنموذج، وتدفق المخرجات المعالجة بشكل ضئيل مباشرة إلى تخزين blob. تعود المعالجة اللاحقة، التي تدمج المخرجات لكل نافذة في شبكات متجانسة بتنسيقات مثل Zarr أو GeoTIFF، إلى وحدة المعالجة المركزية.

تبقي محملات البيانات متعددة العمليات كل وحدة معالجة رسومية مغذاة باستمرار. يمنع التقسيم أغلى أجهزة النظام من البقاء في وضع الخمول بينما تنتهي العمليات الأبطأ.

جمع البيانات كعنق زجاجة

الحصول على البكسلات الصحيحة أصعب من معالجتها. يجب على المنصة الاستعلام عن كتالوجات STAC لمزودين متعددين للعثور على أي المشاهد تغطي منطقة ونطاق زمني معينين. بالنسبة للصور البصرية، الهدف هو المشهد الأقل غيومًا؛ بالنسبة للرادار ذي الفتحة الاصطناعية، فإن قنوات الاستقطاب ذات الصلة مهمة. يمكن لوظيفة كبيرة أن تولد آلاف استعلامات البيانات الوصفية، وهو أكثر بكثير مما صُممت الخدمات الخارجية من ESA أو Microsoft Planetary Computer للتعامل معه بشكل متزامن.

تتجنب Ai2 ذلك عن طريق الحفاظ على فهرس صور الأقمار الصناعية الخاص بها، والذي يتم تحديثه عبر إشعارات SNS من مصادر AWS Open Data وعن طريق استقصاء الكتالوجات العلوية كل بضع دقائق. في وقت التشغيل، تختار المنصة أفضل مصدر متاح وتقوم بقراءات نافذة مقابل تنسيقات محسّنة للسحابة مثل COG أو Zarr، لاسترداد فقط البايتات اللازمة لقسم معين بدلاً من تنزيل المشاهد بأكملها. نفس الفهرس يشغل أدوات التعليق التوضيحي، حيث يقدم بلاطات من أي مشهد مفهرس من خلال نفس نظام القراءة النافذة.

المرونة على النطاقات الكوكبية

على النطاق الذي تستهدفه هذه المنصة، الأعطال ليست استثناءات؛ إنها مدخلات تصميم. يصبح المزودون بطيئين أو غير متصلين. تشير البيانات الوصفية إلى صور يتبين أنها تفتقد نطاقًا. الغطاء السحابي يترك عددًا قليلاً جدًا من المشاهدات القابلة للاستخدام. تتعطل المهام.

تعامل منصة OlmoEarth كل مهمة على أنها أحادية الهوية وقابلة لإعادة الدخول. لكل قسم جغرافي ومرحلة، تقوم بتوفير جهاز افتراضي يشغل حاوية Docker مع معلمات المهمة. ينفذ المُشغِّل العمل، ويعيد النتيجة، ويغلق. إذا فشل، يعيد النظام المحاولة تلقائيًا، مع العودة إلى المزودين البديلين عند توفرهم. تكتشف عملية مراقبة منفصلة المشغلين الذين توقفوا عن العمل وتعيد تشغيل مهامهم.

نتائج ملموسة: تسريع بمقدار 155 ضعفًا بأجزاء من السنت

أكثر العروض المذهلة للمنصة حتى الآن هي خريطة خطر حرائق الغابات التي تغطي كل أمريكا الشمالية. في الذروة، استخدم التشغيل حوالي 19,600 وحدة معالجة مركزية و994 وحدة معالجة رسومية بالتوازي، مع إنتاجية شبكة تتجاوز 168 جيجابايت/ثانية. قلل هذا المستوى من التوازي ما يقدر بـ 4,737 ساعة من الحوسبة التسلسلية إلى حوالي 30.5 ساعة من وقت الحائط، أي تسريع بمقدار 155 ضعفًا.

التكلفة: أجزاء من البنس لكل كيلومتر مربع. يمكن للمنصة بالفعل تشغيل الاستدلال عبر مناطق بحجم قارة في يوم تقريبًا، ومعالجة عشرات التيرابايت من الصور. تُكمَل هذه الاقتصاديات بإصدار نموذج OlmoEarth v1.1 من منتصف عام 2026، الذي يخفض تكاليف الحوسبة بنسبة تصل إلى 3 أضعاف مقارنة بالإصدار الأصلي v1 مع الحفاظ على أداء مماثل من خلال تقنية دمج الرموز الأكثر ذكاءً.

التوازي ليس غير محدود بالطبع. تقدم المنصة عدة مقابض لكل وظيفة: التوزيع محدود بحصص السحابة؛ دقة الإخراج تتبادل حجم البيانات مقابل التفاصيل؛ حجم النموذج يتبادل وقت وحدة معالجة الرسوميات مقابل الدقة؛ تخزين الصور الخام يتبادل التخزين مقابل السرعة في التشغيل المتكرر على نفس المنطقة. الإعداد الصحيح يعتمد على المهمة والميزانية.

ماذا بعد

تتضمن خريطة طريق Ai2، التي شكلتها ردود فعل الشركاء، تشغيلات نموذجية تلقائية يتم تشغيلها بواسطة صور جديدة في الفهرس، واكتشاف التغيير والتنبيهات التي تظهر إزالة الغابات أو الفيضانات كإشعارات فورية بدلاً من شبكات يجب على شخص فحصها يدويًا، وأدوات وكيلية تخفض الحاجز أمام المستخدمين غير المتخصصين للقيام بأعمال كانت تتطلب سابقًا باحثًا متمرسًا في تعلم الآلة. يعمل الفريق أيضًا على نموذج تضمين مخصص؛ يمكن للتضمينات المحسوبة مسبقًا على نطاق عالمي أن تحل محل المرور الأمامي الكامل على الصور الخام للعديد من المهام، مما يجعل أعباء العمل أسرع وأرخص بشكل كبير.

تعمل المنصة حاليًا على Google Cloud، لكن البنية مصممة لدعم سحابات متعددة ونشرات داخل بيئة الحوسبة الخاصة بالشريك. بالنسبة للمنظمات العاملة في الحفاظ على البيئة والأمن الغذائي والاستجابة للكوارث والمناخ، فإن هذه المرونة مهمة.

لا تزال النماذج الأساسية الجغرافية المكانية تقنية ناشئة، والفجوة بين ما تحتاج هذه الفرق إلى فهمه حول الكوكب وما تسمح به ميزانياتها ومواردها الفنية لا تزال واسعة. تراهن Ai2 على أن معالجة الاستدلال كمشكلة بنية تحتية أولاً يمكن أن يساعد في تضييقها.