معاملة إجراءات التشغيل القياسية كرمز برمجي: بيئة تشغيل جديدة مكدسة الصفحات تفصل بين العوامل القوية والضعيفة

يتعين على وكيل مركز اتصال البنك اتباع إجراء تشغيل قياسي: التحقق من هوية العميل، والتحقق من حالة الحساب، وتقييم الأهلية، ثم إما معالجة الطلب أو رفضه. يواجه كل وكيل مؤسسي هذه المهمة. النهج السائد هو إلقاء إجراء التشغيل القياسي بأكمله في التعليمات كنص، والذي له أنماط فشل معروفة: النثر المقيم الذي يبلغ حوالي 10000 حرف لكل دورة يتنافس مع الحوار على الانتباه، وتجريد اللفظ يزيل البنية القابلة للتنفيذ مثل الترتيب البديل والاختصارات المنطقية.

تتبع ورقة بحثية جديدة من جامعة هونغ كونغ بوليتكنيك، وجامعة هونغ كونغ، وجامعة تشجيانغ نورمال، بعنوان "قم بالتجميع، ثم قم بالترقيم: برامج إجراءات تشغيل قياسية قابلة للتنفيذ وبيئة تشغيل مقيدة بالقدرة للعوامل الإجرائية LLM"، نهجًا مختلفًا. يعالج المؤلفون إجراء التشغيل القياسي كبرنامج وليس كنص. يقوم مترجم حتمي دون اتصال بترجمة قيود التبعية القابلة للقراءة آليًا للمعيار إلى برنامج كود زائف من طبقتين: وظائف معالجة لكل هدف مستخدم، وإجراءات فرعية للقاعدة تقترن كل قيد بوصفة تحقق وإرجاع قائم على الأدلة. تقوم بيئة تشغيل موجهة بالبرنامج (PG) عبر الإنترنت بتنفيذ هذا كآلة افتراضية من طبقتين، حيث تتعامل آلة مكدس رمزية مع مسك الدفاتر (المكدس، المؤشر، المتغيرات، الاسترداد) وتقوم بترقيم الإطار النشط فقط في السياق، بينما يقوم LLM بالمحادثة واستدعاء الأدوات والحكم على الأدلة.

التصميم ثلاثي الأذرع

تستخدم الدراسة تصميمًا ثلاثي الأذرع على SOPBench، وهو معيار يتعامل مع الامتثال لإجراءات التشغيل القياسية كمهام استخدام أدوات عبر محاكيات المجال. تفصل الأذرع الثلاثة (النص الرسمي، النص المجمع، والبرنامج المجمع بالإضافة إلى بيئة التشغيل) بين التمثيل وبيئة التشغيل في مهام متطابقة عبر ستة نماذج تمتد عبر مستويات القدرة.

• offtext: نص القيد اللفظي الرسمي للمعيار، المقيم في كل دورة (خط الأساس لإجراء التشغيل القياسي كتعليمات).
• flat: النص الكامل للبرنامج المجمع، المقيم في كل دورة (تمثيل مجمع بدون بيئة التشغيل).
• pg: نفس البرنامج المجمع الذي تنفذه بيئة التشغيل PG مع ترقيم التعليمات في الوقت المناسب.

تظهر النتائج في مجال البنك (المجال الأساسي للإسناد، 125 مهمة نظيفة)، أن استبدال نص إجراء التشغيل القياسي الرسمي بنص البرنامج المجمع يرفع معدل نجاح DeepSeek-V4-Flash من 70.4% إلى 86.4% (+16.0 نقطة؛ 26:6، p < 0.001). يؤدي تمكين بيئة التشغيل PG على نفس البرنامج إلى إضافة 6.4 نقاط أخرى، ليصل إلى 92.8% على المجموعة الفرعية النظيفة، مع صحة رفض بنسبة 100% (86/86). يكشف التحليل أن التجميع والترقيم يشتريان بشكل أساسي سلوك رفض صحيح لنموذج قوي: يتغير التنفيذ قليلاً (من 74.4% إلى 71.8% إلى 76.9%)، بينما يرتفع الرفض من 68.6% إلى 93.0% إلى 100%.

ظهور بوابة القدرة

عبر ستة نماذج، ليس تأثير بيئة التشغيل مجرد ضوضاء حول الصفر. يمتد على نطاق موقع من +6.4 (DeepSeek-V4-Flash، p = 0.021) و +3.2 (غير معنوي) للنماذج القوية، عبر زوج مسبار من نفس البائع على جانبي الصفر، وصولاً إلى -14.4 (p = 0.011) لـ Qwen2.5-7B و -26.4 (GPT-4o-mini، p < 0.001). يؤدي تجميع النموذجين القويين إلى 15:3 متنافرين (p = 0.016)؛ النموذجان الضعيفان سلبيا المعنوية بشكل مستقل. تحافظ عمليات إعادة التشغيل ذات التكوين المتطابق على كل نموذج على نفس الجانب من الصفر.

يمتد النمط إلى جميع المجالات السبعة. بالنسبة للنموذجين القويين V4 وPlus، يصل المتنافرون المجمعون إلى 58:19 (p حوالي 10^-5) و 75:31 (p = 2.3 x 10^-5)، مع عدم عكس أي مجال لإشارته بشكل كبير. تتضرر النماذج الضعيفة طوال الوقت، مع تجميع إلى 59:237 للنموذج 7B (p حوالي 10^-26).

فصل التجميع: المحتوى مقابل التنسيق

يضيف التجميع محتوى (وصفات التحقق، إغلاق المدقق، انضباط الأدلة) ويعيد تنسيق السياسة كرمز. تصميم 2x2 (محتوى رسمي أو مجمع x نثر أو كود) يفصل بين الاثنين. ينعكس تأثير التنسيق: إعادة صياغة النثر الرسمي في كود يربح النموذج القوي +14.4 نقطة ولكنه يكلف النموذج الضعيف -12.8 نقطة. تأثير المحتوى في تنسيق نثر ثابت هو +17.6 للنموذج القوي ولكن لم يتم اكتشافه للنموذج الضعيف (+2.4، غير معنوي). بمجرد تجميع المحتوى، يتوقف التنسيق عن الأهمية (flat مقابل c-prose: -1.6 و +0.8، كلاهما غير معنوي). للممارسين: التمثيل المجمع لا يضر أبدًا بشكل كبير؛ المحتوى المعزول يؤتي ثماره فوق خط قدرة منخفض؛ يجب حجز بناء جملة الكود للنماذج التي يساعدها بشكل مثبت.

لماذا بيئة التشغيل مقيدة: الانضباط، وليس إعادة البناء

تسجل مسابر إعادة بناء الحالة الموجهة جميع النماذج الأربعة التي تم فحصها بالقرب من السقف (0.91 إلى 0.99)، بما في ذلك الخاسران في بيئة التشغيل. البوابة ليست عدم القدرة على إعادة بناء الحالة عند السؤال. يكشف تدقيق غير موجه، يقيس متوسط استدعاءات المجال الصادرة بعد أن نجح إجراء الهدف بالفعل، بين المتضررين وغير المتضررين بقاعدة إشارة واحدة: النموذجان المتضرران بشكل كبير هما بالضبط اللذان لهما إشارات إيجابية (+0.37، +0.57)؛ تحمل جميع النماذج الأربعة غير المتضررة قيمًا سلبية (-0.14 إلى -0.49). قدرة إعادة البناء موجودة أينما تم فحصها؛ الانضباط التلقائي للحالة هو ما تتبعه بوابة بيئة التشغيل.

تؤكد القياسات على مستوى الانتباه الفجوة. يمنح DeepSeek-V4-Flash تلقائيًا إطاره الذي يمثل 2.1% من السياق حصة متساوية (1.05 مقابل 0.96 لـ flat)، ويؤدي استئصال تاريخ الحوار بأكمله إلى رفع الاحتمال اللوغاريتمي للإجراء الذهبي بمقدار 1.9 nats. يمنح Qwen2.5-7B الإطار 0.15x فقط من التكافؤ على مساراته الخاصة مقابل 0.87 عند إعادة تقديمه بشكل نظيف. هذه فجوة في نشر القدرة على مستوى الانتباه.

إرشادات النشر

ترفض النتائج فكرة أن المزيد من السقالات هو دائمًا أفضل. قم بالتجميع عندما يكون أداء النثر الرسمي ضعيفًا؛ استخدم بناء جملة الكود فقط بعد فحص على مستوى النموذج، والترقيم فقط بعد فحص الانضباط. تستفيد النماذج القوية من بروز الإطار النشط (معظم مكاسب الرفض قابلة للاسترداد عن طريق وضع الإطار النشط أولاً مع الاحتفاظ بالبرنامج الكامل)، مع مكسب أصغر متمركز حول الرفض من الرؤية الانتقائية. بالنسبة للنماذج الضعيفة، استخدم حامل التنفيذ القوي بدون توجيه الإطار النشط. الترقيم ناعم وقابل للتدقيق، لذا لا تزال الإجراءات غير القابلة للعكس تتطلب حراس طبقة أدوات صارمة.