توليد أفكار البحث يصبح أفضل بـ 3.89 مرة باستخدام IDEAgent

لقد قامت نماذج اللغة الكبيرة بأتمتة أجزاء كبيرة من الاكتشاف العلمي على مدار السنوات القليلة الماضية. يمكنها مسح الأوراق البحثية، واقتراح الفرضيات، وحتى صياغة التجارب. لكن مشكلة واحدة تظهر باستمرار: الأفكار التي تنتجها إما نسخ من بعضها البعض أو غير مكتملة بحيث لا يمكن متابعتها. تعمل معظم الأنظمة على تحسين الجودة أو التنوع، وليس كليهما في وقت واحد.

ورقة بحثية جديدة من باحثين في جامعة تكساس في أوستن وجامعة سنغافورة للتكنولوجيا والتصميم تجادل بأن معاملة توليد الأفكار كتحسين أحادي الهدف هو الإطار الخاطئ. يقترحون بدلاً من ذلك بحث الجودة والتنوع (QD)، ويبنون إطارًا متعدد الوكلاء يُدعى IDEAgent لتشغيله.

لا يقوم IDEAgent بتوليد الأفكار بشكل منعزل. بل يطورها من خلال الأنساب، مع وكلاء مخصصين يتولون الإصلاح والتحسين بناءً على تغذية راجعة متعددة الأهداف، تغطي جانب الجودة. من أجل التنوع، يحتفظ النظام بذاكرة متسلسلة خفيفة للأفكار المكتملة وأسلافها وحتى المقترحات التي رفضها، ويقارن كل فكرة جديدة بتلك التاريخ. والفكرة هي فرض الجدة دون التضحية بالمتانة.

“الأنظمة الحالية تولد وتحسن الأفكار بشكل مستقل إما للجودة أو للتنوع،” يكتب المؤلفون.

لقياس مدى جودة عمل هذا التحسين المشترك، أنشأ الفريق مقياسًا جديدًا يُدعى العائد: حجم أكبر مجموعة من الأفكار المتنوعة بشكل متبادل والتي تمر جميعها عبر عتبة جودة محددة مسبقًا. يعطي العائد رقمًا واحدًا لهدف كان يجب تتبعه سابقًا بدرجات منفصلة للجودة والتنوع.

النتائج صارخة. عبر 32 موضوعًا تغطي 8 مجالات فرعية من علوم الكمبيوتر، تفوق IDEAgent على أفضل خط أساس بعامل 3.89 في العائد. والأكثر دلالة: أنه حقق عائدًا غير صفري على مواضيع أكثر بمقدار 8 أضعاف من أي منافس، مما يعني أن العديد من المواضيع التي لم تقدم شيئًا ذا قيمة سابقًا أصبحت تنتج الآن مجموعة قابلة للاستخدام من الأفكار.

يُعزي المؤلفون التحسن إلى حلقة الإصلاح والتحسين، التي تبني الدقة المنطقية والوضوح مع إبقاء الأفكار غير بديهية. ويشيرون إلى أن الكثير من مكاسب التنوع تأتي من المقارنة مع الأسلاف التاريخية والمقترحات المرفوضة، وهي حيلة رخيصة تمنع النظام من الدوران حول نفس الأفكار المستهلكة.

تكشف الورقة عن توتر يسهل تفويته عندما تقرأ أرقام المعايير فقط. يمكن أن ينتج خط أنابيب توليد عالي الجودة أفكارًا تبدو صارمة على الورق ولكنها تتجمع حول نفس نقطة البداية. يمكن أن ينتج خط أنابيب يعظم التنوع انتشارًا واسعًا لكن معظمه غير مفيد. يظهر IDEAgent أن الهدفين ليسا في تعارض عندما تعيد صياغة العملية كبحث عن مشهد الجودة والتنوع بدلاً من إجابة واحدة أفضل.

ما إذا كان نهج المشهد هذا ينتقل إلى مجالات أصعب، مثل علم الأحياء والأجهزة والرياضيات، لا يزال مفتوحًا. يغطي التقييم الحالي علوم الكمبيوتر فقط. لكن فكرة أن نظام نماذج اللغة الكبيرة يجب أن يحتفظ بذاكرة لما فكر فيه بالفعل، ويتجنب التكرار صراحة، هي فكرة قابلة للنقل.

IDEAgent هو برنامج مفتوح المصدر على GitHub على الرابط github.com/declare-lab/IDEAgent. يشجع المؤلفون المجموعات الأخرى على البناء على إطار بحث الجودة والتنوع لتوليد الأفكار، مما يشير إلى أنهم يرون هذا كأساس وليس منتجًا منتهيًا. بالنظر إلى أرقام العائد، فهو أساس يستحق المتابعة.