وكلاء الذكاء الاصطناعي ينفذون الإحصاءات بدقة تامة ومع ذلك يصلون إلى استنتاجات خاطئة

يُوجَّه وكلاء نماذج اللغة الكبيرة إلى واحدة من أكثر المهام حساسية في العلم: اختبار الفرضيات. فهم يفحصون مجموعات البيانات، ويولّدون الأكواد، وينتجون التحليلات من البداية إلى النهاية. تحذّر نسخة أولية نُشرت على arXiv في 7 أغسطس 2026 من أن هذه الأتمتة لديها نقطة عمياء. فغالبًا ما يستخلص الوكلاء استنتاجات غير صحيحة حتى عندما يعمل التحليل نفسه بشكل صحيح. الأخطاء استدلالية وليست ميكانيكية: طريقة إحصائية لا تدعمها البيانات، أو قيمة احتمالية (p-value) لا تصمد تحت افتراضات البيانات. معظم المعايير الحالية لا ترى هذه الإخفاقات أبدًا، لأنها تقيّم المخرجات وليس صحة الاستدلال الكامن وراءها.

التشخيص سهل الصياغة: نادرًا ما تسأل حزم التقييم الحالية عما إذا كانت القيمة الاحتمالية المُبلَّغ عنها صالحة إحصائيًا في ظل افتراضات البيانات. هذه الفجوة مهمة لأن وكلاء نماذج اللغة الكبيرة يُستخدمون بشكل متزايد لأتمتة اختبار الفرضيات، وقد تبدو العملية النظيفة وكأنها نتيجة جديرة بالثقة. ويصدى هذا النمط لنتائج في أماكن أخرى من أبحاث الوكلاء. فقد وثّقت أعمال سابقة حول وكلاء البرمجة نفس الانقلاب، حيث أصبح التحقق الموثوق من حل مُولَّد أصعب من إنتاجه. وتنقل الورقة الجديدة هذا الدرس إلى الإحصاء.

نمط الفشل الذي تغفله المعايير

لقياس الفجوة، بنى الفريق P-Bench، وهو معيار يضم 425 مهمة مفتوحة لاختبار الفرضيات تمتد عبر الاقتصاد والبيولوجيا والطب. تمنح كل مهمة الوكيل فرضية علمية ومجموعة بيانات فقط. يجب على الوكيل اختيار طريقة إحصائية، وحساب القيمة الاحتمالية، واستخلاص استنتاج. ثم يقوم التقييم بما تقول الورقة إن التقييمات الحالية لا تفعله: فهو يتحقق مما إذا كانت القيمة الاحتمالية المُبلَّغ عنها صالحة إحصائيًا بالنظر إلى الافتراضات الكامنة وراء البيانات.

ما الذي أضافه تعلّم التعزيز

الحل المقترح هو Fisher-R1، وهو وكيل نموذج لغة كبير مفتوح الأوزان مُدرَّب على اختبار فرضيات صارم باستخدام مهام اصطناعية وتعلّم التعزيز. خيار التصميم المهم هو المكافأة: التحقق الإحصائي بدلاً من التوافق مع إجابة مرجعية. على P-Bench، يحقق Fisher-R1-14B تحسنًا كبيرًا مقارنة بنموذجه الأساسي ويتفوق على خطوط أساس قوية خاصة ومفتوحة المصدر، بما فيها GPT-5.4 وDeepSeek-V4-Pro. الرقم الرئيسي هو تحسن نسبي متوسط بنسبة 21% في نجاح المحاولة الواحدة مقارنة بـDeepSeek-V4-Pro، يرتفع إلى 26% في المهام الأكثر تحديًا.

يتحدث المؤلفون بصراحة عن خط الأساس: "تفتقر وكلاء نماذج اللغة الكبيرة الحالية إلى استدلال إحصائي موثوق لاختبار الفرضيات". ادعاؤهم، باختصار، هو أن تعلّم التعزيز على مهام ذات مكافأة إحصائية موثقة يحسّن الموثوقية بشكل كبير.

التحفظات خلف فجوة 21%

تستحق النتيجة التحفظات المعتادة على النسخ الأولية. فهي لم تخضع لمراجعة الأقران، وP-Bench من بناء المؤلفين أنفسهم، لذا خضعت خطوط الأساس للتقييم على معيار صممه منشئوه، وهو سبب لقراءة النتائج بحذر. نجاح المحاولة الواحدة مقياس واحد. فالوكيل الذي يُسمح له بمراجعة عمله قد يقلّص الفجوة أو يوسعها؛ وهذه الورقة لا تخبرنا بذلك.

ما يصعب تجاهله هو التشخيص، الذي يأتي في مجال يعاني أصلًا من موثوقية التقييم. كوربوس ميسييه (Messier corpus)، وهو جهد من يوليو 2026 لتوحيد تقييم الوكلاء، أحصى 957,253 سجلًا عبر 30 معيارًا و714 وكيلًا، ورأى أن معظم ذلك السجل التجريبي غير قابل للمقارنة. P-Bench هو إجابة أضيق على المشكلة نفسها: معيار صُمم لقياس نمط فشل محدد بدلًا من الحصول على درجة إجمالية أخرى.

بالنسبة للفرق التي تُسند اختبار الفرضيات إلى وكلاء، فإن الدرس العملي رخيص في صياغته ومكلف في تعلّمه. فالعملية النظيفة ليست استدلالًا صالحًا، والقيمة الاحتمالية لا تساوي شيئًا أكثر من الافتراضات التي لم يتحقق منها أحد.