BM25 يتفوق على RAG الوكيلية عندما تتجاوز المجموعات النصية 10 ملايين توكن

البحث الوكيل هو ما تطمح إليه معظم أنظمة RAG في صمت: نموذج يتنقل في المجموعة النصية، ويقرر ما يفتحه، ويقرأ حتى يجد الإجابة. دراسة عن التوسع نُشرت على arXiv في أواخر يوليو تجادل بأن هذه الغريزة تعكس الترتيب. فبمجرد أن تتجاوز المجموعات النصية حوالي 10 ملايين توكن، يتفوق BM25، وهو مسترجع معجمي بسيط، على البحث الوكيل من حيث الدقة في كل حجم أكبر اختبرته الدراسة.

تأتي الورقة من باحثين في muset-ai وتقارن الاسترجاع المعجمي، والاسترجاع الكثيف، والفهرسة القائمة على الرسوم البيانية، والبحث الوكيل عبر 28 طبقة مجموعات نصية متداخلة بشكل صارم تغطي نحو 450 ضعفًا. تظل الأسئلة ومجموعة أساسية ثابتة من المستندات ذات الصلة والمضادة دون تغيير. نموذج قارئ واحد وبروتوكول تحكيم واحد يقيّمان كل نموذج، ويسجّل المؤلفون الدقة، وتوكنات البناء، وتوكنات الاستعلام، وزمن الاستجابة. ولأن الطبقات متداخلة بشكل صارم، تحتوي كل مجموعة أكبر على كل مجموعة أصغر، لذا تظل الترتيبات قابلة للمقارنة عبر الأحجام بدلًا من الانحراف مع مجموعة الاختبار. هذا الإعداد المشترك هو الأساس: معظم نماذج RAG تخضع للاختبار على مجموعات مختلفة بحجم واحد، مما جعل مقياس دقتها وتكلفتها غير واضح.

نقطة التحول عند 10 ملايين توكن

النتيجة الرئيسية هي تحوّل يعتمد على الحجم، وليس فائزًا مطلقًا. يتصدر وكيل نظام الملفات أصغر الطبقات المشتركة، حيث يكون التنقل في شجرة صغيرة غير مكلف. ومع نمو مساحة البحث، تصبح تلك الاستراتيجية التسلسلية أقل فعالية، وعند حوالي 10 ملايين توكن في المجموعة يتفوق عليها BM25. ومن هناك يتصدر BM25 كل طبقة أكبر، بهامش يقترب من 20 نقطة دقة عند الحجم الكامل.

عند قراءة المنحنيين معًا، تتضح قصة بسيطة. يصنّف الترتيب العالمي للمرشحين المجموعة بأكملها في مسار واحد ويتيح لأقوى التطابقات الصعود إلى القمة. أما الاستكشاف التسلسلي فيتوسع بشكل سيئ، لأن كل مستند يفتحه الوكيل يكلّف توكنات لن ينفقها أي مُرتّب. الاسترجاع المعجمي هو الخيار الافتراضي القابل للتوسع الأقوى الذي تجده الدراسة؛ والاستدلال الوكيل هو خطوة ثانية، وليس الأولى.

البحث الوكيل يحرق التوكنات قبل أن يتلاشى

منحنى التكلفة يجعل النقطة أكثر وضوحًا. في الطبقة الأساسية، يكلف الاستكشاف التسلسلي لوكيل نظام الملفات 39 ضعفًا من توكنات الاستعلام. وعلى مجموعة كبيرة بما يكفي لتحتاج إلى استرجاع أصلًا، تحدد هذه الفجوة ما إذا كانت خطوة الاسترجاع تكلف بنسات أم تعيد تشكيل فاتورة الاستدلال بأكملها.

تأطير المؤلفين يستحق القراءة بانتباه: الاستدلال الوكيل يعمل بشكل أفضل بعد الاكتشاف المُرتب، وليس بدلًا منه. أبقِ مُرتّبًا عالميًا رخيصًا كبوابة أمامية، ثم دع الوكيل يقرأ القائمة المختصرة. لا يزال حكم الوكيل مهمًا، لكن لا ينبغي أن يقوم بالبحث نفسه.

الاسترجاع الكثيف والرسوم البيانية: فعّال أم غير مكتمل

تجد الدراسة أن الاسترجاع الكثيف يبقى فعّالًا لكنه أقل دقة. يواجه RAG القائم على الرسوم البيانية جدرانًا في البناء قبل مقياس النشر، وحتى نسخه القابلة للتوسع تبقى أقل من BM25 في الطبقات المشتركة. كما يرسو BM25 عند الطرف منخفض التكلفة من حدود باريتو دون الحاجة إلى بناء قائم على نماذج اللغة الكبيرة. لا توجد تمثيلات متجهة لبنائها ولا رسم بياني لصيانته لمجرد ترتيب المرشحين.

لا يدّعي المؤلفون وجود فائز شامل، والنتيجة على النطاق الصغير هي التحفظ الحقيقي: في أصغر المجموعات، يتصدر الوكيل. لكن نقطة التحول قرب 10 ملايين توكن تقع ضمن نطاق الأحجام التي تعيش فيها التطبيقات الفعلية بالفعل. بالنسبة للفرق التي تبني خطوط استرجاع، فإن القراءة العملية تخالف الضجة: ابدأ بالفهرس الممل، وأنفق توكنات الوكيل على المستندات القليلة التي يثق بها المُرتّب.

كانت الورقة قد حصلت على 41 تصويتًا تأييديًا على Hugging Face بحلول وقت المراجعة الثانية في 30 يوليو.