لماذا يُعد توجيه النماذج مشكلة أنظمة وليس مشكلة تصنيف

توجيه النماذج هو أحد تلك الأفكار التي تبدو نظيفة على السبورة البيضاء. توجيه الاستفسارات البسيطة إلى نماذج أرخص وأسرع. الاحتفاظ بالنماذج الثقيلة للمهام الصعبة. لكن أرضية مركز البيانات ليست سبورة بيضاء. في الإنتاج، يصبح التوجيه لعبة موازنة مستمرة، والمتغيرات التي تهيمن على التكلفة وزمن الاستجابة ليست تقريبًا تلك التي يدرجها المهندسون في جدول المقارنة.

يستعرض هذا المقال ثلاثة أبعاد جعلت التوجيه صعبًا بشكل مفاجئ بالنسبة لنا، بالاعتماد على 417 مهمة من تحديث AppWorld Test Challenge باستخدام وكيل CodeAct. كل رقم يأتي من نشر فعلي، وليس محاكاة.

التكلفة أكثر من مجرد تسعير النموذج

الافتراض المسبق كان بسيطًا: يجب أن يكون GPT-4.1 أرخص من Claude Sonnet 4.6. تسعير GPT-4.1 لكل رمز أقل في كل من الإدخال والإخراج، ويستغرق Sonnet حوالي ثلاثة أضعاف عدد خطوات الاستدلال لإكمال نفس المهام الوكيلية. على أساس السعر المعلن وحده، يفوز GPT-4.1.

الأرقام الفعلية روت قصة مختلفة. عبر 417 مهمة مع نفس الوكيل، كلف Sonnet 79 دولارًا إجمالاً (0.19 دولارًا لكل مهمة) بينما كلف GPT-4.1 155 دولارًا إجمالاً (0.37 دولارًا لكل مهمة)، أي ما يقرب من الضعف.

التفسير هو التخزين المؤقت، وهو عامل تتجاهله معظم بنى التوجيه تمامًا. تستخدم أعباء العمل الوكيلية أجزاء كبيرة من السياق عبر الخطوات المتتالية. عندما تكون معدلات نجاح التخزين المؤقت عالية، تنخفض تكاليف الإدخال الفعلية بشكل كبير. استفاد Sonnet من انخفاض سعر قراءة التخزين المؤقت بشكل غير متناسب من هذا النمط، بما يكفي للتغلب على كل من تسعيرته الأساسية الأعلى ومساراته الأطول. الموجه الذي ينظر فقط إلى ورقة الأسعار يقوم بتحسين ضد الأرقام الخاطئة.

التعقيد أكثر من مجرد صعوبة المهمة

استراتيجية توجيه شائعة هي قياس صعوبة المهمة وإرسال العمل الأصعب إلى نماذج أقوى. بديهي، لكنه ينهار بطريقتين في الإنتاج.

أولاً، غالبًا ما تكون الصعوبة غير مرئية في وقت التوجيه. طلب مثل "لخص هذا العقد" يبدو بسيطًا، لكنه قد يؤدي إلى استرجاع، وفحوصات امتثال، واستخدام أدوات، وجولات متعددة من التحسين قبل الانتهاء. في meantime، قد تتم معالجة موجه تقني عالي بكفاءة بواسطة نموذج متخصص أصغر. غالبًا لا تعرف مدى صعوبة المهمة حتى يكشف التنفيذ عن هيكلها الداخلي.

ثانيًا، حتى لو كان بإمكانك تقدير الصعوبة بشكل مثالي، فهي مجرد إشارة واحدة من بين العديد. تحتاج الموجهات المؤسسية إلى الموازنة بين التكلفة وزمن الاستجابة وتخصص النماذج والموثوقية في وقت واحد. تتراكم القيود التنظيمية: قواعد إقامة البيانات، قوائم النماذج المعتمدة، متطلبات الامتثال. المهمة التي من الناحية المثالية ستذهب إلى نموذج واحد قد تحتاج إلى الذهاب إلى مكان آخر بسبب الحوكمة، ويجب على الموجه التعامل مع ذلك بلطف بدلاً من الفشل.

الموجهات لا تحل مشكلة واحدة. إنها توازن باستمرار بين التكلفة والجودة وزمن الاستجابة والامتثال والموثوقية كلها في وقت واحد.

زمن الاستجابة أكثر من مجرد سرعة النموذج

من الحكمة التقليدية التفكير في زمن الاستجابة فقط من حيث حجم النموذج: النماذج الأكبر أبطأ، والأصغر أسرع. لكن ما يختبره المستخدم يعتمد على أكثر من ذلك بكثير.

التوجيه نفسه يضيف عبئًا. عوامل البنية التحتية، أي جهاز يعمل عليه النموذج، ما إذا كان التخزين المؤقت دافئًا، مدى ازدحام نقطة النهاية، غالبًا ما تهيمن على أوقات الاستجابة من البداية إلى النهاية. النموذج الأسرع نظريًا يمكنه مع ذلك إنتاج تجربة مستخدم أبطأ إذا كانت ظروف الخدمة غير متوافقة.

ثم هناك دقة التوجيه. التوجيه مرة واحدة لكل مهمة يضيف عبئًا ضئيلاً. لكن التوجيه في كل خطوة، مما يعطي مرونة أكبر للتكيف أثناء التنفيذ، يعني أن كل نقطة قرار إضافية تقدم زمن استجابة وتعقيدًا تشغيليًا. الموجه الذي يتجاهل نظام الخدمة يحارب المعركة الخاطئة.

نهج قائم على التحسين

هذه الدروس أدت إلى تحول جوهري: توقفنا عن معاملة التوجيه كمشكلة تصنيف وبدأنا في التعامل معه كمشكلة تحسين. بدلاً من السؤال "أي نموذج هو الأفضل لهذه المهمة؟"، تقوم الخوارزمية بالتحسين في وقت واحد على التكلفة والجودة وزمن الاستجابة، مع البقاء خفيفة بما يكفي لتجنب أن تصبح عنق زجاجة بنفسها.

في تحديث AppWorld Test Challenge، رسم موجه قائم على التحسين حدودًا واضحة للتكلفة والدقة. التكوين 1 (محسّن لزمن الاستجابة) حقق دقة 84% مقابل 93 دولارًا و83 ثانية. هذا تخفيض بنسبة 21% في التكلفة وتخفيض بنسبة 9% في زمن الاستجابة مقارنة بتشغيل Opus بمفرده، مع انخفاض بنسبة 4% فقط في الدقة. وقع موجه قياسي قائم على الصعوبة في نطاق دقة مماثل ولكن بتكلفة أعلى؛ لم يستكشف فضاء المفاضلة بالكامل. يتم تشغيل التحسين نفسه في حوالي 6 مللي ثانية و2 كيلوبايت من الذاكرة لكل مهمة.

الخلاصة الرئيسية: التوجيه لا يتعلق باختيار النماذج. إنه يتعلق بتحسين الأنظمة. النماذج هي متغير واحد، مهم، لكنها مجرد واحدة من بين سلوك التخزين المؤقت، حالة البنية التحتية، قيود الامتثال، وأنماط أعباء العمل.

إذا كنت تبني التوجيه في أنظمتك الوكيلية الخاصة، يرحب الكاتب بسماع المفاضلات التي تواجهها.