أدوات للتعلم المعزز
Tinker-atropos يربط تجارب التعلم المعزز بإطار عمل Atropos
تطلق Nous Research أداة tinker-atropos، وهي طبقة تكامل بين واجهة Tinker API وإطار عمل التعلم المعزز Atropos. تفصل خدمات المدرب، وجمع النتائج، والبيئة إلى مكونات قابلة للنشر بشكل مستقل لتجارب تعلم معزز أكثر مرونة.
Emmanuel Fabrice Omgbwa Yasse بمساعدة الذكاء الاصطناعي
2026-07-16 · قراءة 2 دقائق
في 11 أبريل 2025، أصدرت Nous Research أداة tinker-atropos، وهي طبقة تكامل مفتوحة المصدر تربط واجهة Tinker API بإطار عمل التعلم المعزز Atropos. يستهدف الإصدار مشكلة معروفة في التعلم المعزز التطبيقي: الاقتران بين حلقة التدريب، ومنسق النتائج، ومضيف البيئة يعني أن تغيير مكون واحد غالبًا ما يعطل المكونات الأخرى.
تقوم أداة tinker-atropos بتقسيم هذه الاهتمامات الثلاثة إلى خدمات منفصلة. تدير خدمة المدرب معلمات النموذج. تجمع خدمة النتائج الخبرة عن طريق تشغيل السياسة ضد البيئات. تستضيف خدمة البيئة حالات المحاكاة. يمكن توسيع نطاق كل خدمة بشكل مستقل، وإعادة تشغيلها دون التأثير على الخدمات الأخرى، واستبدالها بتطبيقات بديلة. يكون هذا الفصل أكثر أهمية في التعلم المعزز واسع النطاق حيث تكون محاكاة البيئة هي عنق الزجاجة.
الهندسة المعمارية هي تصميم الخدمات الصغيرة القياسي: gRPC بين الخدمات، وتخزين الحالة في Redis، وتمرير البيئات كـ Protobuf. لكن تطبيقها على التعلم المعزز جديد نسبيًا في فضاء أدوات المصدر المفتوح. معظم أطر التعلم المعزز مثل Stable-Baselines3 و RLlib و CleanRL تدمج جميع الخدمات في عملية واحدة أو تتطلب كود توجيه مخصص للإعداد الموزع. توفر أداة tinker-atropos التوصيلات بشكل جاهز.
من ملاحظات الإصدار: اختبر الفريق أداة tinker-atropos مع مهمة تحكم مستمر (MuJoCo Humanoid) عبر 16 مثيل بيئة موزعة على 4 عقد. حافظ المدرب على استخدام GPU بنسبة 95% بينما تم تشغيل خطوات البيئة بشكل غير متزامن على عقد CPU. كان الإنتاجية 12,000 إطارًا في الثانية، وهو ما يشير الفريق إلى أنه مشابه للإعدادات المحسنة على جهاز واحد لنفس المهمة، ولكنه الآن قابل للتوسع أفقيًا.
تستخدم حزمة البرامج Python 3.11، و gRPC لاتصال الخدمات، و Redis للحالة، و Atropos كمكتبة التعلم المعزز الأساسية. يتضمن الإصدار ملفات Docker Compose لنشر محلي بدون تكوين وملفات Kubernetes للنشر في المجموعات. الترخيص هو MIT.
للباحثين الذين يبنون على إطار عمل Atropos، تزيل أداة tinker-atropos إحدى نقاط الاحتكاك الرئيسية لتوسيع نطاق تجارب التعلم المعزز إلى ما بعد محطة عمل واحدة. لا تحل الأداة مشكلة صعوبة البيئة التي تعتمد على المحاكاة. لكنها تجعل إضافة المزيد من مثيلات البيئة أو استبدال بنية المدرب تغييرًا في التكوين، وليس إعادة هيكلة للكود.
أهم أخبار التقنية في 3 دقائق كل صباح
بريد إلكتروني واحد، كل يوم عمل، بما يهم فعلاً في الذكاء الاصطناعي والتقنية.