لماذا تقوم نماذج الانتشار بالاستيفاء بدلاً من الحفظ فقط: نظرية رياضية للإبداع

أصبحت نماذج الانتشار بنية أساسية شائعة لكل شيء بدءًا من تركيب الصور عالية الدقة وحتى اكتشاف الجزيئات. لكنها تفعل شيئًا حيّر الباحثين لفترة طويلة: فهي تنتج مخرجات جديدة بوضوح، وليست مجرد نسخ من أمثلة التدريب، مع بقائها متماسكة وواقعية.

تعطي دراسة من جوجل للأبحاث، تم تقديمها في مؤتمر ICLR 2026، أول تفسير رياضي دقيق لهذا السلوك. الورقة البحثية، بعنوان 'حول تأثير الاستيفاء لتنعيم الدرجات في نماذج الانتشار'، تجادل بأن ما نسميه الإبداع في نماذج الانتشار هو نتيجة مباشرة وقابلة للتنبؤ لكيفية تعلم الشبكات العصبية لدوال الدرجات التقريبية تحت التنظيم.

'يشير عملنا إلى أن ما نسميه "الإبداع" لنماذج الانتشار قد يكون في الواقع نتيجة رياضية قابلة للتنبؤ،' قال تشنغداو تشين، المؤلف الرئيسي للدراسة وعالم أبحاث في جوجل للأبحاث.

إطار إزالة الضوضاء وفخ الحفظ

يتطلب فهم النتيجة نظرة على كيفية عمل نماذج الانتشار. تبدأ عملية التدريب بإضافة ضوضاء تدريجية إلى البيانات الحقيقية، مثل مجموعة من صور القطط، حتى تصبح الصور ضوضاء نقية. ثم يتعلم النموذج عكس هذا الفساد خطوة بخطوة، في عملية تسمى إزالة الضوضاء.

إذا تعلم النموذج العملية العكسية المثالية، فإنه سيعيد بناء نسخ مطابقة لصور التدريب أثناء النشر. هذا هو الحفظ. في هذا السيناريو، يصبح النموذج أداة استرجاع، وليس محركًا توليديًا.

ومع ذلك، في الممارسة العملية، تفعل نماذج الانتشار المزيد. فهي تولد صورًا لم يرها النموذج من قبل، تجمع بين ميزات من أمثلة تدريب متعددة. السؤال هو: ما الذي يمنع النموذج من مجرد الحفظ؟

دور تنعيم الدرجات

يظهر تشين وزملاؤه أن الإجابة تكمن في كيفية تقريب الشبكات العصبية لدالة الدرجة، وهي مجال القوة الرياضي الذي يوجه الجسيمات المزعجة إلى الوراء نحو البيانات الهادفة أثناء عملية إزالة الضوضاء.

دالة الدرجة المثالية، المستمدة مباشرة من بيانات التدريب، ستكون حادة للغاية. ستقسم فضاء البيانات إلى منحدرات شديدة، حيث يُسحب كل جسيم بقوة نحو نقطة التدريب الأقرب. وهذا يؤدي إلى الحفظ.

لكن الشبكات العصبية، حتى عندما تحاول تعلم هذه الوظيفة المثالية، لا تستطيع إعادة إنتاج تلك المنحدرات الحادة تمامًا. التدريب مع التنظيم، مثل تدهور الوزن أو التنظيم الضمني من التحسين القائم على التدرج، يجبر الشبكة على تعلم إصدارات أكثر نعومة من دالة الدرجة.

تنعيم الدرجات هذا له تأثير ملموس: يخلق منطقة ميتة بين نقاط التدريب حيث تتدفق الجسيمات ببطء، لتستقر في النهاية في الفراغ بين البيانات المعروفة. بدلاً من الانهيار على نقاط التدريب، تهبط العملية التوليدية على نقاط مستوفية، بيانات جديدة تجمع خصائص أمثلة تدريب متعددة.

إثبات رياضي وتحقق تجريبي

لإظهار هذا التأثير، أجرى فريق تشين تجارب مضبوطة في إطار أحادي البعد مع نقطتي بيانات تدريب فقط: +1 و -1. قاموا بتدريب شبكات ذات طبقتين من نوع ReLU لتعلم دالة الدرجة تحت درجات مختلفة من تدهور الوزن.

كانت النتائج واضحة: أنتج التنظيم الأقوى دوال درجات متعلمة أكثر نعومة، وأنتجت عملية إزالة الضوضاء الناتجة نقاطًا تقع في منطقة الاستيفاء بين -1 و +1، بدلاً من أي من القطبين. قام الفريق بقياس هذا الارتباط من خلال الجمع بين نظرية فضاء الدوال لتنظيم الشبكات العصبية ورياضيات إزالة الضوضاء.

تمتد الظاهرة إلى البيانات عالية الأبعاد. في الإعدادات متعددة الأبعاد، يصبح تنعيم الدرجات معتمدًا على الاتجاه. على طول الاتجاهات المماسية للطبقة المخفية للبيانات، يخلق نفس تأثير التباطؤ الذي شوهد في الحالة أحادية البعد. لكن على طول الاتجاهات التي تشير نحو الطبقة المخفية، تكون دالة الدرجة المثالية ناعمة بالفعل، لذا فإن المزيد من التنعيم لا يحدث فرقًا كبيرًا.

'لا يؤدي تنعيم الدرجات إلى إبطاء الحركة نحو الطبقة المخفية، بل يقلل فقط من الميل إلى الانهيار نحو بيانات التدريب على طول الاتجاهات المماسية،' أوضح تشين. 'بهذه الطريقة، يحقق النموذج توازنًا بين الجودة والجدة.'

آثار على تصميم الذكاء الاصطناعي التوليدي

للنتائج آثار عملية على مطوري نماذج الانتشار. من خلال معالجة الإبداع كنتيجة رياضية قابلة للتحكم بدلاً من كونها خاصية غامضة، يمكن للباحثين تصميم بنيات تضبط تأثير الاستيفاء عن قصد.

يشير إطار الورقة البحثية إلى أن المفاضلة بين الحفظ والجدة يمكن إدارتها عن طريق ضبط درجة التنظيم أثناء التدريب. النماذج المدربة مع تدهور وزن أثقل ستقوم بالاستيفاء بشكل أكثر عدوانية، مما يولد مخرجات أكثر ابتكارًا ولكن مع خطر الضبابية إذا نمت منطقة الاستيفاء بشكل كبير. النماذج المدربة مع الحد الأدنى من التنظيم ستنتج مخرجات أكثر حدة تشبه مجموعة التدريب بشكل أكبر.

لتطبيقات مثل اكتشاف الأدوية، حيث يكون توليد تكوينات جزيئية جديدة هو الهدف، توفر الورقة أساسًا نظريًا لتشجيع الاستيفاء. في توليد الصور، يمكن أن توجه النتائج تطوير نماذج مضمونة لإنتاج مخرجات جديدة ولكن متماسكة.

القيود والأسئلة المفتوحة

يركز العمل الحالي على بنيات بسيطة نسبيًا وإعدادات مضبوطة. ما إذا كانت نفس الآليات تتوسع إلى نماذج انتشار متطورة بمليارات المعلمات يبقى سؤالًا مفتوحًا.

'عملنا هو مجرد جهد أولي لتوضيح هذه الآلية، ويبقى أن نرى ما سيحدث عندما يصبح توزيع البيانات أو بنيات الشبكات العصبية أكثر تعقيدًا،' لاحظ تشين.

مع ذلك، من خلال توفير أساس رياضي دقيق لتأثير الاستيفاء، تفتح الدراسة الباب أمام بناء نماذج عمدًا تكون أفضل في الاستيفاء. 'يمكننا أن نبدأ في بناء نماذج عمدًا تكون أفضل في الاستيفاء لضمان بقائها محركات إبداعية مع تجنب مخاطر الحفظ الأعمى،' أضاف تشين.

تم إصدار الورقة البحثية والكود المرتبط بها، مما يسمح للمجتمع البحثي بتكرار النتائج وتوسيعها.