المعلّمون بالذكاء الاصطناعي يفرطون في المساعدة بحكم تصميمهم. معيار جديد يقيس ذلك

نموذج رياضيات يحل المسائل ليس هو نفسه نموذج رياضيات يدرّس. الفجوة تكمن في حكم يتكرر طوال الجلسة: هل يحتاج هذا الطالب إلى دعم الآن، أم إلى دفعة ليقوم بالاستدلال بنفسه؟ الفريق الذي يقف وراء TutorMoments، وهو معيار مبني على 462 نصًا حقيقيًا لجلسات تدريس رياضيات فردية، قدّمه هذا الأسبوع مع نتيجة صريحة: عندما تُترك النماذج لغريزتها الافتراضية، تفرط في المساعدة.

لماذا فشلت المعايير السابقة في التقاط اللحظة الحاسمة

معظم التقييمات الحالية للمعلّمين بالذكاء الاصطناعي تكافئ سلوكًا ثابتًا واحدًا، سواء كان ذلك يعني عدم إعطاء الإجابة أبدًا أو تقديم تلميح دائمًا. المشكلة، كما يصوغها مؤلفو TutorMoments، هي أن أياً من السلوكين ليس صحيحًا في كل موقف. التدريس الجيد هو حكم بشأن ما يحتاجه هذا الطالب، الآن، لهذه المسألة، ولا يمكن لمعيار ثابت أن يرى الطالب.

النقطة العمياء تظهر في أنحاء المجال. K12-Bench، وهو تقييم من جامعة بكين لمدى فهم النماذج للرياضيات المدرسية، وجد أن حتى النماذج القوية بالكاد تدرك كيف ترتبط المفاهيم ببعضها، محققة 57% و46% في بنود مبنية على سلاسل المتطلبات السابقة وتصنيفات المفاهيم، وهي الأنسجة الرابطة التي يستخدمها المدرّس الحقيقي يوميًا. أما SDABench، الذي يختبر 15 نموذجًا عبر ست مهارات استدلال علمي، فوجدها قوية في الأسئلة الوصفية ومنهارة في الأسئلة الاستدلالية والسببية. النمط: تتحسن النماذج في معرفة الأشياء، بينما المهارة الأصعب, تحديد ما يجب فعله بتلك المعرفة في موقف معين, تبقى غير مقيسة.

المخاطر ارتفعت في هذه الأثناء. مقرر في كلية دارتموث حيث حقق معلّم بالذكاء الاصطناعي أحجام تأثير تصل إلى 1.30 انحراف معياري حقق مكاسب تعلم نادرًا ما تُرى في فصل دراسي حي، حيث تتراوح التدخلات النموذجية حول 0.4 انحراف معياري. كلما زادت ثقة المجال في التدريس بالذكاء الاصطناعي، زادت أهمية حقيقة أن الحكم اللحظي هو بالضبط ما لم تكن المعايير تقيسه.

عندما يُطلب منها «التدريس الجيد»، تسرع النماذج إلى المساعدة

TutorMoments-Preview هو 462 نصًا مجهول الهوية ونصيًا فقط من برنامج تدريس أمريكي عالي الكثافة يخدم في الغالب مدارس Title I، مع طلاب من الصفوف 2-7. علّق 27 معلمًا على أكثر من 1,500 لحظة رئيسية، كل واحدة منها نقطة قرار حيث كان على المدرّس الموازنة بين السقالة (جعل المسألة أكثر سهولة) والدفع نحو الصرامة (طلب تفكير أصعب).

يقوم التقييم بإيقاف النص عند إحدى تلك اللحظات ويسلّم الجلسة إلى نموذج لغوي، يدرّس طالبًا محاكى لخمس جولات. خط أنابيب تسجيل، ينطلق من التصنيف الأغلبية للمعلمين لكل لحظة، يتحقق مما إذا كان النموذج قد وفّر سقالة عندما كان الدعم مطلوبًا، ودفع نحو الصرامة عندما كان الطالب جاهزًا، وتجنب الإفراط في السقالة.

سبعة نماذج خاضت الإعداد مرتين: مرة بتنبيه بسيط يطلب منها استخدام ما تعرفه عن التدريس الجيد، ومرة مع توضيح المقايضة. النمط الأوضح في النتائج هو مدى أهمية التنبيه. كل نموذج يسجل نتائج أعلى مع التنبيه الصريح، ما يشير إلى أن سلوك «المساعد المفيد» الافتراضي للنموذج ليس كافيًا وحده للتدريس الجيد. لكن توضيح المقايضة يذهب بعيدًا إلى حد ما فقط. ما تزال النماذج تختلف اختلافًا واسعًا في موثوقية اتخاذها للقرار، والفجوة نحو التدريس البشري الذي يلائم اللحظة باستمرار لا تُغلق. وعندما دفعت نحو الصرامة، اعتمدت النماذج على مجموعة ضيقة من الحركات، معظمها طلب تفسير الطلاب لإجاباتهم، بينما استخدم المدرّسون البشريون استراتيجيات أكثر تنوعًا وكانوا أكثر ميلًا بكثير للتراجع والسماح للطالب بالعمل بشكل مستقل.

المرجع البشري يسجل نتائج أقل. هذه ليست النقطة الرئيسية

إليك الجزء الذي سيُقتبس خارج سياقه. عند تقييمها بالطريقة نفسها وفي نقاط القرار نفسها، يسجل المدرّسون البشريون في النصوص نتائج أقل من النماذج: 0.458 للسقالة المناسبة، 0.182 للصرامة المناسبة، 0.496 لتجنب الإفراط في السقالة، وكلها من 1. نتائج النماذج مع التنبيه المراعي للتقييم تتجاوز هذه الأرقام.

المؤلفون صريحون في أن هذا ليس ادعاءً بأن معلمي الذكاء الاصطناعي يتفوقون على المعلمين البشر. بحث المعلّقون عن لحظات كان يمكن أن يكون التدريس فيها أفضل، لذا يركز مجموعة البيانات على الفرص الضائعة، وليس الممارسة المثالية. تحفظان إضافيان: النتائج تقيس سلوك المدرّس، وليس التعلم، لأن عمليات إعادة التشغيل تجري مع طالب «أوراكل» محاكى؛ والصرامة هي الإشارة الأكثر ضجيجًا، مع لحظات صرامة مُعلّق عليها أقل (260 مقابل 738) وخط أنابيب تسجيل يكتشف الدفع نحو الصرامة بموثوقية أقل.

ما الذي ينبغي أن يستفيده سوق تكنولوجيا التعليم من هذا

للفرق المعنية بالمنتجات، الرافعة الأساسية هي تصميم التنبيه. توضيح المقايضة يرفع كل النتائج، ما يعني أن المساعدة الجاهزة من مساعد عام هي الافتراض الخاطئ للتدريس. النتيجة نفسها تحذر من أن تنبيهًا أفضل ليس حلاً: نتيجة K12-Bench تزيد التحذير حدة، لأن المدرّس الذي لا يتتبع أي المفاهيم متطلبات سابقة لأيها سيواجه صعوبة في القرار نفسه الذي يقيسه TutorMoments.

السياق التجاري حقيقي. Khanmigo، المبني على GPT-4، أظهر وعودًا لكنه نشر بيانات فعّالية خاضعة للضبط محدودة، بينما دروس Duolingo بالذكاء الاصطناعي وشركات ناشئة مثل Querium وPhotomath أطلقت ميزات تدريس بنتائج متباينة. المعيار الذي يمكن أن يخبر المعلّم بالذكاء الاصطناعي عندما يقوم بالعمل نيابة عن الطالب هو ما تحتاجه الفئة بأكملها، حتى لو كان يقيس السلوك عند نقطة قرار فقط. المؤلفون يرسمون هذا الخط بأنفسهم: التقييم الآلي لا يمكن أن يحل محل دراسات مع طلاب حقيقيين ونتائج تعلم حقيقية، ومجموعة البيانات ضيقة، أمريكية، وتركز في الغالب على رياضيات المرحلتين الابتدائية والمتوسطة، وعلّق عليها مجموعة واحدة من المعلمين. إنهم يبنون نحو مجموعة بيانات متعددة الوسائط أكبر وخط أنابيب تسجيل أقوى، وقد أطلقوا النصوص ورمز إعادة التشغيل وعمليات إعادة تشغيل النماذج حتى يتمكن أي شخص من إعادة تشغيل التقييم.

في الوقت الراهن، الخلاصة واضحة إلى حد كبير. المجال أخيرًا يمتلك أداة تراقب المدرّس وهو يتخذ القرار، والقراءات الأولى تقول إن النماذج تستطيع حل الرياضيات لكنها تفوت جوهر التدريس. المعيار التالي الذي يستحق المتابعة سيتتبع طلابًا حقيقيين، لأن الحكم بشأن مقدار المساعدة التي يحتاجها المتعلم لا يمكن التحقق منه إلا حيث يحدث التعلم فعلًا.