نظارتك الذكية تتذكر كل شيء لكنها لا تستطيع إخبارك متى حدث ذلك

الذكاء الاصطناعي القابل للارتداء يدخل مرحلة البث. النظارات الذكية الآن تسجل باستمرار، والفكرة هي أن المساعد يمكنه استدعاء ما حدث بالضبط ومتى. لكن معيار قياس جديد واسع النطاق يشير إلى أن جزء "متى" معطل وقد يتطلب نهجًا مختلفًا جوهريًا للإصلاح.

باحثو ميتا، بمن فيهم المؤلف الرئيسي هوانغ فان وفريق يضم مختبرات الذكاء الاصطناعي للشركة، أصدروا S-EMBER (معيار الذاكرة المرتكزة على الذات للبث لاسترجاع الأحداث) هذا الأسبوع. يتكون المعيار من 3,141 فيديو بإجمالي 388 ساعة من النشاط العضوي تم التقاطها عبر نظارات Ray-Ban Meta الذكية، مقترنة بـ 9,448 زوجًا من الأسئلة والأجوبة تتطلب دليلًا بصريًا يدويًا من خلال تحديد زمني دقيق.

الخيار التصميمي الأساسي هو أن S-EMBER يعمل كمعيار بث، وليس معيارًا غير متصل. تقييمات فهم الفيديو الحالية عادة ما تفرغ الملف بأكمله في النموذج وتطلب منه الإجابة على الأسئلة. S-EMBER بدلاً من ذلك يحاكي الظروف الواقعية لجهاز قابل للارتداء، حيث تصل الإطارات الجديدة بشكل سببي ويتم تشغيل الاسترجاع بواسطة أحداث في البث، وليس بواسطة إنسان يتوقف ويبحث.

مفارقة التحديد المكاني

النتيجة المركزية للورقة هي ما يسميه المؤلفون "مفارقة التحديد المكاني." لقد قرأت جدول النتائج الكامل لأفهم ما يعنونه، والأرقام مذهلة. عبر نماذج من GPT-4o و Gemini 2.0 Flash و Llama 3.2، قاس الباحثون قدرتين بشكل منفصل: الاستدلال الدلالي (تحديد الكائن أو الحدث الذي يصفه السؤال) والتثبيت الزمني (تحديد الطابع الزمني الدقيق الذي يظهر فيه).

الاستدلال الدلالي يتحسن مع حجم النموذج. النماذج الأكبر أفضل في قول "نعم، الشخص التقط الكوب الأزرق." لكن دقة التثبيت الزمني تظل ثابتة بغض النظر عما إذا كنت تزيد المعلمات، أو تزيد دقة الإدخال، أو تغذي المزيد من الإطارات في الثانية. نموذج بـ 8 مليارات معلمة دقيق بقدر دقة نموذج بـ 405 مليارات معلمة في تحديد الطوابع الزمنية للأحداث، ضمن الضوضاء الإحصائية للقياس.

هذا مهم لأن مساعدًا قابلاً للارتداء يمكنه إخبارك "لقد تفاعلت مع تلك الوثيقة" لكنه لا يستطيع قول "كان ذلك حوالي الساعة 3 مساءً يوم الثلاثاء" هو عديم الفائدة عمليًا لاسترجاع الذاكرة العرضية.

الورقة محددة حول مكان وجود عنق الزجاجة. ليس في ترميز الإطارات الفردية. إنه في آلية التجميع الزمني. يمكن للنماذج تحديد إطار يحتوي على حدث ذي صلة، لكنها تفقد الإشارة الموضعية عند ربط الإطارات في سرد. نفس النمط المعماري الذي يجعل المحولات جيدة في فهم الفكرة العامة للمشهد يجعلها أيضًا سيئة في الحفاظ على مكان حدوث هذا المشهد بالضبط في بث مدته 30 دقيقة.

ما يختبره المعيار بشكل مختلف

المعايير الحالية للفيديو المرتكز على الذات، مثل مهام الذاكرة العرضية لـ Ego4D، تقيم النماذج في بيئة غير متصلة وموجهة نحو البحث. الوكيل يرى الفيديو بأكمله وجميع الأسئلة دفعة واحدة. S-EMBER بدلاً من ذلك يصوغ "الاسترجاع العرضي للبث المثبت،" حيث يعالج النموذج تدفقًا مستمرًا ويجب عليه الإجابة على الأسئلة التي يتم تشغيلها بواسطة الأحداث البصرية دون إعادة فحص الماضي بأكمله.

هذا أقرب إلى ما يفعله الإنسان عندما يشاهد فيديو ويسأله شخص ما "هل رأيت السيارة الحمراء تمر؟" الإجابة تعتمد على ما إذا كان الحدث قد حظي بالاهتمام، وليس على ما إذا كان النموذج يمكنه العثور عليه لاحقًا مع بحث كامل.

المعيار يدعم أيضًا أطوال استجابة مرنة لمحاكاة التفاعل البشري الطبيعي مع الذكاء الاصطناعي. الإجابة الصحيحة قد تكون طابعًا زمنيًا دقيقًا أو وصفًا سرديًا، والتقييم يأخذ كليهما في الاعتبار.

ميتا أصدرت مجموعة البيانات كـ facebook/S-EMBER على Hugging Face، على الرغم من عدم الاستشهاد بأي نماذج تستخدمها حاليًا، ربما لأن المعيار يبلغ من العمر بضعة أيام فقط.

معيار S-EMBER من ميتا يكشف أن الاستدلال الدلالي في نماذج الفيديو يستمر في التحسن مع الحجم، لكن التحديد الزمني قد توقف. هذا له عواقب مباشرة على أي ذكاء اصطناعي قابل للارتداء يعد باسترجاع ذكريات محددة من تدفقات فيديو طويلة.