رغوة في سلسلة الأفكار: معيار جديد يكشف كيف تهدر LLMs الرموز في استدلال صحيح لكنه عديم الفائدة

أصبحت سلسلة الأفكار (CoT) الطريقة القياسية للحصول على استدلال متعدد الخطوات من نماذج اللغة الكبيرة. قم بتقسيم المشكلة إلى خطوات وسيطة، وترتفع دقة النموذج. لكن ورقة بحثية من شركة KT وجامعة بوهانغ للعلوم والتكنولوجيا (POSTECH) تجادل بأن المجال كان يحسّن الإشارة الخاطئة.

الورقة البحثية، التي تحمل عنوان Valid ≠ Necessary: Diagnosing Latent Inefficiency in Chain-of-Thought، تحدد بقعة عمياء في تقييم الاستدلال الحالي: المقيمون الذين يتحققون من الصحة والصلاحية المنطقية غالبًا ما يعطون درجات عالية لخطوات صحيحة من الناحية الواقعية ولكنها عديمة الفائدة وظيفيًا. يطلق المؤلفون على هذا اسم الرغوة المعلوماتية، ويشير عملهم إلى أنها تشكل جزءًا كبيرًا من مسارات سلسلة الأفكار القياسية.

يقدم الباحثون RIV-GSM8K، وهو معيار تشخيصي مشتق من مجموعة بيانات الرياضيات GSM8K. RIV-GSM8K يحقن خمسة أنواع متميزة من عدم الكفاءة في سلاسل الاستدلال: التكرار البسيط (تكرار خطوة)، إعادة الصياغة (إعادة صياغة نفس الفكرة)، التفكيك (تقسيم خطوة واحدة إلى خطوات صغيرة متعددة)، الاستدلال الدائري (إعادة الصياغة دون تقدم)، وغير ذي الصلة (استطرادات صحيحة رياضيًا ولكنها غير مرتبطة بالحل).

عندما اختبرت الورقة مقيمين من أحدث ما توصلت إليه التكنولوجيا بما في ذلك ReasonEval وThinkPRM وQwen2.5-Math-PRM ضد RIV-GSM8K، كانت النتائج صارخة. احتفظت النماذج الحالية بنسبة 70 إلى 97 بالمائة من خطوات عدم الكفاءة المحقونة، مما يعني أنها فشلت في وضع علامة على خطوات كانت بوضوح زائدة عن الحاجة أو دائرية. ReasonEval، على الرغم من وجود درجة صريحة للتكرار، حافظ على حوالي 70 بالمائة من التكرارات البسيطة. حتى نموذج Qwen2.5-Math-PRM ذو المعلمات البالغة 72 مليارًا احتفظ بنسبة 83 بالمائة منها.

لسد هذه الفجوة، تقترح الورقة CAID (كثافة المعلومات السياقية)، وهو مقياس خالٍ من التدريب يجمع بين أربع إشارات: التشابه المحلي (التكرار)، التوافق مع الهدف العالمي (الصلة)، كثافة المعلومات (الإسهاب)، والدلالة الدلالية (التقدم المنطقي). يستخدم CAID 146 مليون معلمة فقط في المجموع، نموذج GPT-2 Small لتقدير الكثافة ومشفر MiniLM للتمثيلات، مما يجعله أصغر بكثير من المقيمين الخاضعين للإشراف الذين يتفوق عليهم.

على RIV-GSM8K، حقق CAID اكتشافًا شبه كامل للتكرار (0.0 بالمائة حفظ) وإعادة الصياغة (1.7 بالمائة حفظ). كما التقط الاستدلال الدائري (1.9 بالمائة حفظ) والتفكيك (20 بالمائة حفظ)، وهي مناطق عانى منها خط الأساس. والأكثر إثارة للجدل، أن CAID وضع علامة على ما يقرب من نصف خطوات GSM8K الأصلية التي كتبها البشر على أنها قابلة للضغط، وليس قابلة للإزالة، ولكنها قابلة للتعبير بشكل أكثر إحكاما. تم وضع علامة على 1.5 بالمائة فقط من تلك الخطوات التي تم وضع علامة عليها للحذف المباشر؛ أما النسبة المتبقية البالغة 98.5 بالمائة فتم تخصيصها لإجراء دمج، مما يشير إلى أن الاستدلال نفسه كان سليمًا ولكن اللغة كانت غير فعالة.

تحقق الباحثون من قدرة CAID التشخيصية من خلال بناء خط أنابيب ضغط يسمى PACE (التقليم والضغط من أجل الكفاءة). يطبق PACE إشارات CAID لضغط سلاسل الاستدلال بعد التوليد. عبر GSM8K وStrategyQA وARC-Challenge، قلل PACE استهلاك الرموز بنسبة 31 إلى 53 بالمائة مع الحفاظ على الدقة أو تحسينها. على ARC-Challenge، ارتفعت الدقة فعليًا بمقدار 0.94 نقطة إلى جانب تخفيض الرمز بنسبة 43.6 بالمائة.

فصلت التجارب الضابطة تأثير PACE عن التقليم التافه. تسببت إزالة 50 بالمائة من الخطوات عشوائيًا من سلاسل GSM8K في انهيار الدقة من 82 بالمائة إلى 66.7 بالمائة. حتى إزالة الخطوة الأخيرة فقط أضرت بالأداء. على النقيض من ذلك، حافظ الضغط الانتقائي لـ PACE على الدقة عند 81.12 بالمائة مع قطع 31 بالمائة من الرموز. عندما استبدل الباحثون CAID بمقيمين أقوياء من PRM داخل نفس خط أنابيب PACE، تمكنت تلك النماذج التي تركز على الصحة من الحفاظ على الدقة ولكنها حققت فقط ضغطًا بنسبة 6 إلى 7 بالمائة في الرموز، وهو أقل بكثير من نسبة CAID البالغة 31 بالمائة.

واحدة من النتائج الأكثر إثارة للدهشة في الورقة هي أن فكرة الخطوات الذهبية، خطوات الاستدلال التي كتبها البشر والتي يُفترض أنها مثالية، قد تكون معيبة بحد ذاتها. تشير تعيينات الدمج الخاصة بـ CAID إلى أن مجموعات البيانات القياسية تحتوي على عدم كفاءة كامنة: إعادة صياغة مطولة، حسابات وسيطة مفرطة في الشرح، ومنطق مجزأ يمكن التعبير عنه بشكل أكثر إيجازًا. يجادل الباحثون بأن هذا المحتوى القابل للضغط لا يتعارض مع صحة الاستدلال، لكنه يثير تساؤلات حول جودة بيانات التدريب وافتراضات الكفاءة المضمنة في ممارسات التقييم الحالية.

يعترف المؤلفون بالقيود. يعمل PACE في خط أنابيب توليد ثم تنقية، مما يعني أنه لا يقلل من زمن الانتظار لمرحلة الاستدلال الأولية. إنه أكثر ملاءمة لبناء مجموعة بيانات غير متصلة بالإنترنت أو ضغط السياق من التسريع في الوقت الفعلي. تعتمد خطوة الدمج على أداة إعادة كتابة LLM مع قيود السلامة؛ قد تبالغ النماذج الأصغر في تبسيط الاستدلال المعقد. كما أن تركيز الورقة على المجالات الحسابية والحس السليم والاستدلال العلمي يعني أن مفهوم الكفاءة قد يختلف في المهام مفتوحة النهاية مثل الكتابة الإبداعية، حيث يخدم الإسهاب غرضًا.

مع ذلك، يقدم العمل حجة قوية على أن تقييم الاستدلال كان يحارب الحرب الخاطئة. يمكن للنماذج إنتاج سلاسل صحيحة منطقيًا محشوة بخطوات صحيحة من الناحية الواقعية ولكنها غير ضرورية. المقيمون الحاليون، المحسّنون للصحة، يكافئون تلك الحشوة. يقدم CAID وRIV-GSM8K طريقًا نحو مقاييس لا تقيس فقط ما إذا كانت الخطوة صحيحة، ولكن ما إذا كانت ضرورية.

قاد الورقة دايوب لي من شركة KT وهوانجو يو من POSTECH، وبدعم من منحة IITP من وزارة العلوم وتكنولوجيا المعلومات الكورية.