لا رئيس، لا عنق زجاجة: لماذا يعيد إطار نظير إلى نظير التفكير في توليد البيانات الاصطناعية

أصبحت البيانات الاصطناعية شريان الحياة لتدريب نماذج اللغة الكبيرة، حيث تسد الفجوات حيث تكون البيانات الحقيقية نادرة أو باهظة الثمن أو محظورة بسبب الخصوصية. ومع ذلك، لا يزال النموذج السائد لتوليد مثل هذه البيانات على نطاق واسع يعتمد على منسق مركزي، نقطة تحكم واحدة تُسند المهام وتجمع النتائج وتدير الحالة. تعمل هذه البنية حتى لا تعمل: تظهر الاختناقات، وتعاني التزامن، ويؤدي بطء وكيل واحد إلى تعطيل خط الإنتاج بأكمله.

بحث أولي نُشر هذا الشهر، Matrix: إطار عمل لتوليد البيانات الاصطناعية بواسطة وكلاء متعددين من نظير إلى نظير، يتبع نهجاً مختلفاً جوهرياً. الباحثون، الذين تشمل انتماءاتهم مختبر تكنولوجي كبير، أزالوا المنسق المركزي بالكامل. بدلاً من ذلك، يتم تمرير تدفق التحكم وتدفق البيانات كرسائل متسلسلة عبر قوائم انتظار موزعة. يعمل كل وكيل بشكل مستقل، وتُدار العمليات كثيفة الحوسبة مثل استدلال LLM أو البيئات المعزولة على خدمات موزعة منفصلة مبنية على Ray.

"غالباً ما تعتمد الأطر الحالية للتوليف متعدد الوكلاء على منسق مركزي، مما يخلق اختناقات في قابلية التوسع، أو تكون مبرمجة بشكل ثابت لمجالات محددة، مما يحد من المرونة،" يكتب المؤلفون. "يزيل Matrix المنسق المركزي."

قوائم انتظار بدلاً من الاستدعاءات

التحول الأساسي في Matrix هو من إدارة المهام المتزامنة بوساطة المنسق إلى التنسيق غير المتزامن القائم على الرسائل من نظير إلى نظير. بدلاً من وكيل رئيسي يوجه كل خطوة، يشترك الوكلاء في قوائم الانتظار ويلتقطون الرسائل ذات الصلة عند وصولها. يعني هذا الفصل أن الوكيل البطيء لا يعطل النظام. تستمر الوكلاء الأخرى في معالجة قوائم الانتظار الخاصة بها، وتتدفق النتائج في النهاية بمجرد أن ينتهي الوكيل المتخلف.

يميز الإطار بين "وكلاء التحكم" خفيفي الوزن الذين يتعاملون مع التوجيه المنطقي و"وكلاء الخدمة" الذين يقومون بالحوسبة الفعلية، باستدعاء LLM، أو تشغيل بيئة Python معزولة، أو استخراج البيانات المنظمة من صفحة ويب. نظراً لأن الخدمات مجمعة وقابلة لإعادة الاستخدام، يمكن لتدفقات تحكم متعددة مشاركة نفس نقطة نهاية الاستدلال، مما يزيد من الاستفادة.

مكاسب ملموسة عبر ثلاثة سيناريوهات

يقيم البحث Matrix مقارنة بالأنظمة المنسقة الأساسية في ثلاث مهام لتوليد البيانات الاصطناعية: الحوار التعاوني متعدد الوكلاء، واستخراج بيانات الاستدلال القائم على الويب، وتوليد مسار استخدام الأدوات لخدمة العملاء.

حدثت جميع المكاسب على نفس الأجهزة (مجموعة Ray مكونة من 16 عقدة مع وحدات معالجة رسومية A100، وفقاً للبحث)، ويذكر المؤلفون عدم وجود فرق يُذكر في جودة المخرجات عند تقييمها بواسطة مقيمين بشريين غير مطلعين على الإطار المستخدم.

لماذا الإنتاجية أكثر أهمية من أي وقت مضى

من المتوقع أن ينمو سوق البيانات الاصطناعية بسرعة مع سعي بناة النماذج إلى تعزيز مجموعات البيانات المولدة من البشر. لكن توليد بيانات عالية الجودة ليس رخيصاً. يمكن أن يتطلب كل حوار أو مسار مكالمات LLM متعددة، وعمليات تنفيذ في بيئات معزولة، وخطوات تحقق. الإطار الذي يضاعف، أو في بعض الحالات، يزيد بمقدار 15 ضعفاً، الإنتاج لكل دولار من الحوسبة هو أكثر من مجرد فضول أكاديمي. له آثار مباشرة على هيكل تكلفة بناء النماذج المتطورة.

Matrix مبني على Ray، وهو إطار حوسبة موزعة مفتوح المصدر يُستخدم بالفعل في العديد من مختبرات الذكاء الاصطناعي للتدريب والاستدلال. يتيح التصميم المعياري للمستخدمين كتابة أنواع جديدة من الوكلاء ومعالجات قوائم الانتظار دون إعادة كتابة طبقة تمرير الرسائل الأساسية.

المقايضات

اللامركزية ليست مجانية. نظراً لأن الوكلاء لا يشاركون رؤية عالمية للتقدم، فإن التصحيح والمراقبة يتطلبان بنية تحتية إضافية. يذكر البحث طبقة مراقبة منفصلة مبنية على لوحة معلومات Ray والسجلات المخصصة. يمكن أن يزيد زمن الانتظار للمهام الفردية قليلاً تحت التزامن المنخفض، لأن البنية القائمة على قوائم الانتظار تضيف عبء تسلسل الرسائل الذي يتجنبه استدعاء الدالة المباشر.

مع ذلك، بالنسبة لحالات الاستخدام التي يستهدفها المؤلفون، توليد البيانات الاصطناعية عالية الحجم حيث تكون الإنتاجية الخام هي المقياس الأساسي، فإن المقايضة تستحق العناء. "نحقق إنتاجية أعلى دون المساس بجودة المخرجات،" يلاحظون، مقارنة بشكل إيجابي مع البدائل المركزية التي تصل إلى الحد الأقصى تحت الحمل الثقيل.

ما هو التالي

يتوقف البحث دون إصدار تنفيذ مرجعي، على الرغم من أن المؤلفين يقولون إن الكود مبني على أساسيات Ray القياسية ويمكن تكراره من قبل أي فريق ملم بالإطار. بالنظر إلى الاعتماد على الوصول الخاص إلى LLM أو التفصيلي للاستدلال، يُقرأ البحث بشكل أكبر كمخطط معماري أكثر من كونه مكتبة جاهزة. مع ذلك، من المرجح أن تؤثر رؤيته الأساسية، وهي أن توليد البيانات الاصطناعية يجب أن يُعالج كمسألة دفق موزعة بدلاً من مشكلة تنسيق مركزية، على كيفية تصميم خطوط أنابيب التوليد المستقبلية.

بالنسبة للفرق التي تعاني حالياً من اختناق في حجم البيانات الاصطناعية، فإن الرسالة واضحة: قد يكون المنسق هو الجزء الذي تريد إزالته.