عنق الزجاجة الهيكلي في الاستدلال يتفوق على سحر المطالبات في مهام الاستقراء لنماذج اللغة الكبيرة

لأشهر، حذر عدد متزايد من الأوراق البحثية من أن تحسين الذات لنماذج اللغة الكبيرة هش، إذ إن مطالبة النموذج بمراجعة وتنقيح مخرجاته ضمن سياق واحد يمكن أن يضعف الأداء. تقدم ورقة بحثية جديدة من باحث في جامعة بكين حلاً هيكليًا: استبدال نوافذ السياق الأحادية بمراحل معزولة الأدوار متصلة فقط بحالة رمزية مضغوطة.

المنهجية، المسماة الاستدلال الساعي، تعامل نموذج اللغة الكبير المجمد كمنشئ وصفي يبني مشفرًا وفك تشفير رمزي لكل مهمة. وحدة الاستقراء تضغط الأمثلة القليلة في مخطط φ وسقالة عابرة z. وحدة الاستنباط تستنتج قاعدة تحويل T وتتخلص من z. ثم يقوم المنفذ بتجميع (φ, T) إلى مخرجات قابلة للتنفيذ. في حالة حدوث أخطاء، يُراجع المُحسِّن (φ, T)، وليس المخرجات، ويُعيد التوليد من الصفر. فقط (φ, T) تعبر حدود المراحل.

عبر ثلاثة معايير، التجريد البصري، توليف الأجهزة، واستقراء القواعد النصية، يحقق نفس خط الأنابيب المستقل عن المجال مكاسب ثابتة. على ARC-AGI-2، يرفع الاستدلال الساعي دقة pass@5 بمقدار 14 نقطة مع GPT-5.5 (من 62.8% إلى 76.8%) وبما يقرب من 10 نقاط مع Gemini 3.1 Pro (من 76.9% إلى 86.7%). على المهمة الفرعية لتوليف Verilog لـ ChipBench، يضاعف تقريبًا دقة GPT-5.5 من 31% إلى 58%.

لماذا يفشل تحسين الذات الساذج

يعمل تحسين الذات القياسي ضمن سياق واحد كثيف: أمثلة خام، كود حالي، تغذية راجعة للأخطاء، وتعليمات الإصلاح، جميعها تتعايش بدون تقسيم. يميل النموذج إلى التثبيت على التفاصيل الإدراكية منخفضة المستوى بدلاً من تجريد القاعدة الكامنة. عندما تصل التغذية الراجعة للتنفيذ، يقوم بتصحيح الكود مباشرة، بتشفير فروع if-else لإحداثيات خاصة بالمثال، بدلاً من مراجعة قاعدة صريحة.

تعزل دراسة الإزالة في الورقة على ARC-AGI-2 العامل الحاسم. عندما يتم إنتاج نفس العناصر الوسيطة الهيكلية ضمن نافذة سياق أحادية (تحسين الذات الهيكلي)، تنهار الدقة إلى أقل حتى من خط الأساس لتحسين الذات غير المقيد، من 76.9% إلى 59.9% على Gemini 3.1 Pro. العزل المادي للسياق بين المراحل ضروري.

إزالة جميع المطالبات المساعدة (Hourglass-Plain) أو إزالة جميع قيود التنسيق على φ و T (Hourglass-Unstructured) يترك الأداء دون تغيير تقريبًا. إزالة φ و T من إدخال المُحسِّن (Code-Only) تسبب انخفاضًا طفيفًا فقط. تبقى المكاسب طالما تم الحفاظ على الهيكلية المعزولة الأدوار.

النتيجة التي تثير الدهشة

النتيجة الأكثر إثارة للجدل في المنهجية تأتي من BBEH-Linguini، وهو معيار لأولمبياد اللغويات حيث أظهر العمل السابق أن النطق الصريح بالقواعد يمكن أن يضعف الأداء. يؤدي تحسين الذات إلى تدهور شديد في الدقة على كلا النموذجين، من 67.4% إلى 27.8% على GPT-5.5، ومن 68.1% إلى 33.3% على Gemini 3.1 Pro. يستعيد الاستدلال الساعي تقريبًا خط الأساس للمطالبة الخام على GPT-5.5 (63.1%) ويتجاوزه بما يقرب من 12 نقطة عند pass@5 على Gemini 3.1 Pro (79.9%).

يُعزي المؤلف انهيار تحسين الذات إلى آليتين متشابكتين: الضغط الخاسر، حيث يؤدي كل تكرار لنطق قاعدة مستنبطة إلى تفاقم فقدان المعلومات، والتشابك السياقي، حيث تتعايش توليد القاعدة والتنفيذ والتغذية الراجعة في سياق واحد، مما يجعل النموذج عرضة لتشتت الانتباه وتطبيق غير متسق للقاعدة. يخفف الاستدلال الساعي من كلتيهما بفرض أن الحالة الرمزية (φ, T) هي القناة الوحيدة المستمرة للمعلومات.

تكلفة العزل

يأتي عزل الأدوار بعلاوة رمزية. على GPT-5.5، يبلغ متوسط تشغيل واحد للاستدلال الساعي 61,911 رمزًا عبر 3.7 استدعاءات API، مقارنة بـ 19,594 رمزًا عبر 1.4 استدعاء لخط الأساس لتحسين الذات الأحادي، أي بزيادة تبلغ حوالي 3 أضعاف. على Gemini، الفجوة أضيق: 122,007 رمزًا (4.4 استدعاءات) مقابل 61,426 رمزًا (1.7 استدعاء)، أي بزيادة تبلغ حوالي ضعفين. تشير الورقة إلى أن مقارناتها الرئيسية ليست متطابقة حسابيًا، على الرغم من أن حجم المكاسب يشير إلى أن المفاضلة قد تكون مقبولة لمهام الاستدلال عالية المخاطر.

ما التالي: استراتيجيات فوقية

التنفيذ الحالي للاستدلال الساعي مؤقت: يتم التخلص من الحالة الرمزية بمجرد حل المهمة وإعادة اشتقاقها من الصفر للمهمة التالية. تتكهن الورقة حول استدلال ساعي فوقي يراكم استراتيجيات فوقية قابلة لإعادة الاستخدام عبر المهام، على غرار كيفية استفادة عالم الأرصاد الجوية البشري من نفس الروتين الذهني (ابحث عن دورية، قسم إلى أنظمة، حدد الحالات الشاذة) عند مواجهة سلسلة زمنية جديدة، بغض النظر عن المجال.

لا تملي هذه الاستراتيجيات الفوقية عمليات دقيقة، ولا تضمن صحتها، لكنها ترفع التحليل بشكل منهجي فوق المستوى التعسفي.

يبقى ما إذا كان يمكن تعلم هذا الاستدلال الفوقي سؤالًا مفتوحًا. لكن النتيجة الأساسية للورقة، وهي أن هيكلية تدفق المعلومات، وليس اللغة المستخدمة للتعبير عنها، هي التي تدفع الاستدلال الاستقرائي في نماذج اللغة الكبيرة المجمدة، تشير إلى مسار يدور حول التصميم الهيكلي بدلاً من النماذج الأكبر أو المطالبات الأكثر بريقًا.