لا أحد يستطيع تعريف الرداءة الاصطناعية. مجموعة البيانات المفتوحة هذه تحسب متوسط الإجابة

سلوب فايندر هو منتج أولي مبكر (MVP) يستعير فكرة مجرّبة ويوجّهها نحو مصطلح لم ينجح أحد في تعريفه. الفكرة المجرّبة هي الإدراك الجماعي: اعرض على الناس شيئًا، اجمع تقييمًا، وامضِ قدمًا. الهدف هو الرداءة الاصطناعية، التسمية التي تهيمن على أقسام التعليقات ونقاشات سياسات المنصات على حد سواء، لكنها تنهار لحظة محاولة حصرها.

الآلية في حدها الأدنى عن قصد. يسحب المشروع عينات من نصوص مولّدة بالذكاء الاصطناعي من مجموعات بيانات قائمة، ويعرضها دون الكشف عن مصدرها، ويجمع تقييمًا واحدًا لكل زائر: عنصر تحكم وحيد يسأل عن مدى رديء النص. لا تصنيفات، ولا استمارات. وبمجرد أن تجمع العينة عددًا كافيًا من الأصوات، تُصدَّر إلى هاغينغ فيس كبيانات مفتوحة يستخدمها أي شخص. يصفه الفريق بأنه منتج أولي مبكر، بمجموعة بيانات صغيرة ونظام لا يزال في طور التطور.

ما الذي يقيسه سلوب فايندر فعلًا

التحول من التعريف إلى القياس هو القصة الحقيقية. تأطير المشروع نفسه صريح: سلوب فايندر لا يعرّف الرداءة، بل يقيس النسخة المُدرَكة والمتوسطة مما يسميه البشر رداءة. المجموعة هي تجميع لتعريفات عملية متعددة، بعضها قريب من الموضوعية وبعضها ذوق خالص.

لهذا الرهان سابقة ناجحة. تُصنِّف منصة LMSYS Chatbot Arena النماذج وفق تفضيل بشري أعمى على مقياس إيلو، بنحو خمسة ملايين صوت تحشر الآن أفضل المختبرات في نطاق 25 نقطة. لم تعرّف المنصة “الجيد” قط لترتب النماذج بناءً عليه. يراهن سلوب فايندر على أن المنطق نفسه ينطبق على الطرف السلبي للجودة.

لماذا تقاوم الرداءة أي تعريف ثابت

تعليق أحد المساهمين الأوائل يوضح لماذا لا يستقر المصطلح. بالنسبة لبعض القراء، تعني الرداءة ببساطة جودة منخفضة أو جهدًا ضعيفًا. وبالنسبة لآخرين، ترتبط بنمط فشل محدد: صور مولّدة تكسر الأيدي أو العيون فيها الوهم، حتى في المخرجات المُنمَّقة مثل رسومات الفحم أو الرسوم التخطيطية. ويقدّر المساهم نفسه نسبة الصور المولّدة الصالحة للاستخدام كما هي بنحو واحدة من كل أربعين.

مقارنة أخرى تأتي من عالم الألعاب: واجهات متاجر مليئة بمشاريع يسميها المساهم “أول لعبة تصويب للطفل”، مجمّعة من كود مصدري مشترى، وأصول جاهزة مُعاد استخدامها، ونسيج مرسوم يدويًا، وخريطة ضعيفة، ثم تُباع بدلًا من أن تُستخدم كخطوة نحو شيء أفضل. الأيدي المكسورة عيب موضوعي. أما المشروع المُجمَّع بتكاسل من أصول جاهزة فحكمٌ على الجهد والنّية. والاستمتاع محور ثالث: المحتوى الممتع يحمل قيمة، بينما المخرجات التي تكسر المنطق الأساسي “تؤذي دماغك”. كان على أي تعريف واحد أن يغطي المحاور الثلاثة معًا، وهذا بالضبط سبب رفض المشروع كتابة تعريف.

تتآكل الثقة بالطريقة نفسها في الجانب المؤسسي. تحذّر أليف ألفا من أن النماذج التجريبية العامة للذكاء الاصطناعي تقوّض الثقة عبر نمط من الإفراط في الوعود والتقصير في التنفيذ، وهي ظاهرة تسميها “التردي”. الرداءة، بهذه القراءة، هي النسخة الموجهة للمستهلك من نمط الفشل نفسه.

مخاطر حساب متوسط أصوات غامضة

تكلفة تجميع الأحكام الضبابية حقيقية، والمشروع صريح بشأن موقعه. تقييم سريع واحد يخلط بين اكتشاف العيوب الحقيقي والذوق الشخصي. مع مجموعة مُدوِّنين صغيرة، يمكن أن يتأرجح المتوسط بفعل حفنة من الأصوات، ولا يحدث التصدير إلا بعد تراكم عدد غير محدد من التقييمات.

الحكم البشري هو النقطة المرجعية الصحيحة من حيث المبدأ. أخضع معيار GauntletBench من أكسفورد وكلاء ذكاء اصطناعي لمئة مهمة واقعية، ففشلوا في 81% منها، بينما أكمل المصنّفون البشريون الخبراء المهام نفسها بدقة تجاوزت 80%، وهو مستوى تصفه الورقة بأنه “صعب لكن ممكن”. لكن كلمة “خبير” تحمل وزنًا هنا. مجموعة سلوب فايندر هي ناخبون ذاتيو الاختيار من الإنترنت، وليسوا مصنّفين مدرَّبين، والمشروع لا يدّعي خلاف ذلك.

أما البديل الرئيسي، المراجعة الذاتية للنموذج، فله عمى موثّق خاص به. وجد بحث من Pine AI وجامعة واشنطن أن نموذج الرؤية واللغة الذي يحكم على أشكال مولّدة بالذكاء الاصطناعي عبر لقطة شاشة هو أعمى بنيويًا: من بين 15 عرضًا كثيفًا لأشكال أكاديمية، قيّم نموذج الرؤية واللغة 14 منها بأنها “مثالية”، بينما رصدت القياسات الحتمية لهندسة العناصر 40-74% من العيوب البصرية التي لم يرصدها مقياس لقطة الشاشة إطلاقًا. لا يمكن الوثوق بالحكام الآليين في التعرف على الرداءة، وهذه أقوى حجة لسؤال البشر أصلًا.

ماذا يغيّر وجود مجموعة بيانات مفتوحة عن الرداءة

ستتحول تقييمات الرداءة العلنية القابلة للقياس إلى بنية تحتية لاقتصاد الوسوم الذي تبني المنصات بالفعل. تحمل إعلانات جوجل وسمًا إلزاميًا للذكاء الاصطناعي، لكن تطبيق ذلك خارج مخزون جوجل الخاص يعتمد في الغالب على نظام الشرف، وبدأت المنصات أيضًا في طلب وسوم ذكاء اصطناعي على الإعلانات. مجموعة بيانات مشتركة لما يعلّمه البشر كرداءة تمنح أنظمة الرقابة مرجعًا موحدًا، بدلًا من ترك كل منصة تعرّف القمامة المولّدة آليًا على انفراد.

هناك نقطة تحفّظ تستحق الذكر. يبني بحث لمينا جاغاديسان وزملائها نموذجًا لكيفية استجابة المستخدمين استراتيجيًا عندما يعرفون أن أعمالهم ستُفحص بحثًا عن آثار الذكاء الاصطناعي: يعيدون الصياغة، ويختصرون، ويضيفون خصائص فردية لإضعاف أي إشارة يلتقطها الكاشف. النتائج تتعارض مع ما يتوقعه مؤيدو الكاشفات. المنطق نفسه ينطبق على مجموعة بيانات علنية عن الرداءة. مجمع الأصوات الذي يساعد المنصات على الرقابة قد يتحول أيضًا إلى إشارة تدريب للموجة التالية من المحتوى المولّد، المصمَّم لتفادي الأحكام ذاتها التي تسجلها المجموعة.

المساهمة الحقيقية لسلوب فايندر، إذا تراكمت أصوات كافية، هي جعل الفئة مقروءة. لن تحصل الرداءة على تعريف. لكنها قد تحصل على توزيع إحصائي، وقد يتبين أن ذلك أكثر فائدة.