استبدل MNIST بـ CIFAR-10 وستنقلب وصفة الذكاء الاصطناعي الشبيه بالدماغ رأساً على عقب

لسنوات، واجهت مهمة تدريب الشبكات العصبية بالطريقة التي قد تعمل بها الأدمغة فعلياً نفس العقبة: تعمل على MNIST، مجموعة بيانات الأرقام المكتوبة بخط اليد التي كانت منطقة الراحة للمجال منذ التسعينيات، وتنهار على أي شيء أصعب. نجح فريق في Sakana AI الآن في دفع إحدى هذه الطرق، وهي انتشار الخطأ، إلى الشبكات الالتفافية وصور CIFAR-10 والتعلم المعزز بالتحكم المستمر. لكن الرقم الرئيسي ليس هو الهدف. الهدف هو ما حدث عندما غيّر الباحثون المعيار.

لماذا الطاعة للدماغ مكلفة

تتبع الخلايا العصبية البيولوجية مبدأ ديل: كل خلية عصبية إما مثيرة أو مثبطة عبر جميع نقاط الاشتباك العصبي الخاصة بها، وليست خليطاً أبداً. تتجاهل الشبكات الاصطناعية القياسية هذا تماماً، يمكن لأي اتصال أن يكون إيجابياً أو سلبياً، ويستغل الانتشار العكسي هذه الحرية عن طريق إرسال نسخ منقولة تماماً من الأوزان الأمامية إلى الخلف. اعترض علماء الأعصاب منذ فترة طويلة على أن "نقل الوزن" هذا ليس له أساس بيولوجي.

البدائل التي تتجنبه، محاذاة التغذية الراجعة، محاذاة التغذية الراجعة المباشرة (DFA)، الترميز التنبؤي، كلها لا تزال تسمح بأوزان إيجابية وسلبية عشوائية. يذهب انتشار الخطأ ثنائي التدفق من Sakana AI إلى أبعد من ذلك: فهو يقسم كل طبقة إلى مجموعة إيجابية وأخرى سلبية، ويبقي جميع مصفوفات الوزن الأربعة لكل طبقة غير سلبية، ويقوم بتشفير الإشارة المثبطة في البنية بدلاً من تعلمها. تحمل هذه الصدقية الهيكلية فاتورة: ما يقرب من 4 أضعاف معلمات الشبكة غير المقيدة من نفس العرض (حوالي 32 مليون مقابل 8 ملايين لخط الأساس DFA).

الدرجات، في السياق

مع خدعة "توجيه الخطأ المعياري" الجديدة التي تعين لكل وحدة مخفية قناة إخراج ثابتة، تصل الطريقة إلى 96.7% على MNIST وتؤسس خط أساس بنسبة 61.7% على CIFAR-10، وهي المرة الأولى التي يعمل فيها انتشار الخطأ على الشبكات الالتفافية على الإطلاق. عند قراءتها مقابل المنافسة، فإن النتائج هي دراسة في المقايضات وليس جولة نصر.

الطريقة	MNIST	CIFAR-10	متوافقة مع مبدأ ديل؟
ED المقترح (ثنائي التدفق)	96.7%	61.7%	نعم
DFA (تغذية راجعة عشوائية)	97.6%	69.1%	لا (حوالي 2.84 مليون وزن سلبي)
Seed ED (بدون ابتكارات)	50.4%	11.6%	نعم

تتسع الفجوة مع DFA من 0.9 نقطة على MNIST إلى 7.4 نقاط على CIFAR-10. هذا الانتشار هو على الأرجح أنظف مساهمة للورقة: ثمن ملموس لتكلفة فرض مبدأ ديل، ودليل على أن السعر ينمو مع صعوبة المهمة.

الانعكاس الذي يجب أن يقلق مراقبي المعايير

لجعل البنية قادرة على المنافسة، أضاف الفريق ثلاث حيل خاصة بالتصنيف: عروض سيجمود خاصة بالطبقة (لمكافحة التدرجات المتلاشية)، وخطأ الفئة المتمركز حول الدفعة (لمواجهة عدم التوازن 9 إلى 1 لأهداف واحد مقابل الكل)، والتهيئة غير المتماثلة للإثارة/التثبيط. النتيجة المفيدة هي ما كشف عنه دراسة الاجتثاث عند إزالة كل منها.

المكون الذي تمت إزالته	التأثير على MNIST	التأثير على CIFAR-10
عروض سيجمود خاصة بالطبقة	−71.4 pp	−15.1 pp
خطأ الفئة المتمركز حول الدفعة	−0.3 pp	−47.9 pp
تهيئة E/I غير المتماثلة	+0.0 pp	−5.5 pp

على MNIST، إزالة تثبيت عرض السيجمود كارثي بينما تركيز الدفعة بالكاد يُسجل. على CIFAR-10 ينعكس التسلسل الهرمي: يصبح تركيز الدفعة هو الفرق بين التعلم والانهيار، وينخفض تثبيت السيجمود إلى المرتبة الثانوية. المكون الذي يبدو أساسياً على مجموعة بيانات واحدة يبدو ضئيلاً على الأخرى. لو توقف الباحثون عند MNIST، كما تفعل معظم الأعمال في هذا المجال فعلياً، لكانوا استنتجوا أن توسيط إشارة الخطأ لا يهم. إنه مهم بشكل هائل.

هذا هو الجوهر التحليلي للعمل: الاختناق في توزيع الائتمان ليس خاصية ثابتة للطريقة، إنها خاصية للمهمة. قم بتقييم قاعدة تعلم ممكنة بيولوجياً على معيار واحد وقد تثبت قرارات التصميم الخاطئة على أنها حقائق عالمية.

نفس الدرس، من جانب التعلم المعزز

قام الفريق أيضاً بربط انتشار الخطأ بـ تحسين السياسة القريبة وأجروه على مهام حركة Brax من Google ومعيار Craftax مفتوح النهاية. هنا تتغير الأدوار مرة أخرى. على HalfCheetah، يتفوق ED-PPO (متوسط عائد 5,494) على backprop-PPO القياسي (3,520) ويطابق DFA. لكن على Craftax، DFA، بطل التصنيف، هو أضعف طريقة، ويقع تحت كل من backprop وانتشار الخطأ. مسارات التغذية الراجعة العشوائية التي تكفي للتعلم الخاضع للإشراف تفشل في التعلم المعزز المعقد والاستكشافي.

الصورة المعكوسة مقصودة: DFA قوي حيث يعاني ED ضعيف حيث يصمد ED. الرسالة عبر كلا المجالين متطابقة. لا يوجد لوحة صدارة واحدة تخبرك أي طريقة مستوحاة من الدماغ هي "الأفضل"، لأن نقاط ضعف كل طريقة تظهر فقط تحت متطلبات مهمة محددة.

ما يظهر بمفرده

يشير اكتشاف واحد إلى سبب تصرف هذه الشبكات المقيدة بالطريقة التي تتصرف بها. التهيئة 3:1 للإثارة إلى التثبيط تنحرف، من خلال التدريب وحده، نحو توازن 1:1 تقريباً، مع الطبقات الأعمق التي تصبح مثبطة بشكل تدريجي. يردد هذا كيف يُعتقد أن الدوائر القشرية تستقر في توازن الإثارة والتثبيط أثناء النضج، ويصل بدون أي آلية توازن صريحة. في الوقت نفسه، يقوم الحد الأدنى غير السلبي بتقليم 37.3% من الأوزان إلى ما يقرب من الصفر، ويضرب الاتصالات المثبطة بشدة (حتى 68.8%)، وهو شكل من أشكال "الندرة المجانية"، وميزة أجهزة محتملة للرقائق التناظرية أو الضوئية أو العصبية الشكل حيث تقوم المشابك الفيزيائية بتشفير الكميات غير السلبية بشكل طبيعي.

الخلاصة الصادقة

62% على CIFAR-10 ليس قريباً مما يحققه الشبكة المدربة بالتدرج التقليدي، وتقول Sakana AI ذلك بوضوح. كما يحمل ED-PPO تبايناً أعلى بشكل ملحوظ من backprop ويتعثر في المهام التي تحتاج إلى توزيع ائتمان زمني دقيق. القيمة هنا ليست نموذجاً حديثاً؛ إنها خريطة جيدة التوثيق لمكان كسر التعلم المقيد بيولوجياً ولماذا. وأكثر الخطوط حدة في تلك الخريطة هو خط منهجي: إذا استمر المجال في تقييم الذكاء الاصطناعي الشبيه بالدماغ على مجموعات بيانات لعبة، فسيستمر في استخلاص استنتاجات واثقة تقلبها مجموعة البيانات التالية بهدوء.