متعدد الوسائط / مفتوح المصدر
حزمة إضافات Qwen تمنح وكيل البرمجة لديك عينين ويدين وذاكرة فيديو
أصدر فريق Qwen التابع لشركة Alibaba حزمة Qwen-MM-Plugins، وهي مجموعة أدوات بترخيص Apache-2.0 تمنح وكلاء البرمجة مهارات متعددة الوسائط بشكل أصلي: قراءة الصور والفيديو بدقة ديناميكية، والتعرف الضوئي على الحروف (OCR)، والتأريض (grounding)، والتعرف التلقائي على الكلام (ASR)، وذاكرة الفيديو الطويل، وتوليد الفيديو، والتحكم عبر عميل خفيف في Blender وFreeCAD. سكربت واحد يثبّتها عبر Claude Code وCodex وQoder وOpenClaw وQwen Code وGemini CLI.
Emmanuel Fabrice Omgbwa Yasse بمساعدة الذكاء الاصطناعي
2026-08-15 · قراءة 4 دقائق
أصدرت Qwen حزمة إضافات تحوّل وكلاء البرمجة إلى وكلاء متعددي الوسائط. حزمة Qwen-MM-Plugins، المنشورة على GitHub ضمن منظمة QwenLM، تضيف مهارات الرؤية والصوت والثلاثية الأبعاد إلى الوكلاء العاملين داخل Claude Code وCodex وQoder وOpenClaw وQwen Code وGemini CLI. المجموعة مفتوحة المصدر بترخيص Apache-2.0، مع وعد أساسي مذكور بوضوح في المستودع: جعل أي بيئة تشغيل للوكلاء متعددة الوسائط بشكل أصلي.
تُثبَّت كل قدرة كمهارة (skill)، بحيث يعرف النموذج أن مجموعة الأدوات موجودة، بالإضافة إلى خادم MCP اختياري يوفّر الأدوات نفسها، ويُشغَّل عند الطلب عبر uvx. القدرة الأولى تُسمى core. وهي تعالج الرؤية الأساسية، أي القراءة بدقة ديناميكية للصور والفيديوهات والمستندات والنماذج ثلاثية الأبعاد، بالإضافة إلى OCR والتأريض (grounding) والتجزئة (segmentation) والتعرف التلقائي على الكلام (ASR) ومحادثة الرؤية والبحث على الويب. أما الحزم الأخرى فهي video-memory وomni-av وvideo-edit وblender وfreecad وedu-agent.
ماذا يضم مستودع Qwen الجديد
تُثبَّت حزم القدرات السبع بشكل منفصل، ويوثّق المستودع الميزات التي تقدّمها كل حزمة. التفصيل على النحو التالي.
| القدرة | وظيفتها |
|---|---|
| core | قراءة ديناميكية الدقة للصور والفيديوهات والمستندات والنماذج ثلاثية الأبعاد؛ OCR، والتأريض، والتجزئة، وASR، ومحادثة الرؤية، والبحث على الويب |
| video-memory | ذاكرة رسومية هرمية للأسئلة والأجوبة حول فيديوهات طويلة جدًا |
| omni-av | فهم شامل للصوت/الفيديو: ASR مع طوابع زمنية وتسميات للمتحدثين، ووصف زمني وتأريض زمني، وعدّ الأحداث، ووسم الموسيقى |
| video-edit | سير عمل لتحرير الفيديو بالإضافة إلى توليد الصور والفيديو والصوت |
| blender | يحرّك Blender قيد التشغيل عبر عميل خفيف مزود بـ 22 أداة: النمذجة، والخامات، والإضاءة، والعرض |
| freecad | تصميم CAD بارامتري في FreeCAD قيد التشغيل عبر عميل خفيف مزود بـ 14 أداة؛ النمذجة، وتعديل الخصائص، واستيراد/تصدير STEP/STL، وتحليل العناصر المحدودة (FEM) |
| edu-agent | يحوّل مسألة رياضيات أو علوم إلى فيديو شرح خطوة بخطوة باللغة الصينية. مهارة فقط، بدون خادم MCP |
يوفّر المستودع أدلة عملية (cookbooks) تعرض كل قدرة قيد التشغيل مع قوائم الأدوات والإعداد وحالات تطبيقية. ويُعد عدد أدوات Blender وFreeCAD نافذة جيدة على مدى دقة التكامل: 22 أداة للنمذجة والخامات والإضاءة والعرض في Blender، و14 للنمذجة البارامترية وتحليل العناصر المحدودة في FreeCAD.
ثبّت مرة واحدة، واستخدم عبر Claude Code وCodex وغيرهما
توصي Qwen بمثبّت موجَّه، وهو سكربت واحد يتولى التثبيت والتهيئة والتحقق وإلغاء التثبيت عبر كل بيئات التشغيل المدعومة. وهو يشغّل آلية التثبيت الأصلية لكل بيئة داخليًا ويكتب ملف إعدادات مشتركًا واحدًا في ~/.qwen-mm-plugins/config، بحيث تقرأ بيئات الطرفية وبيئات الواجهة الرسومية الإعدادات نفسها. ويجلب الأمر المكوَّن من سطر واحد ملف install.sh من المستودع.
التثبيت اليدوي يعمل أيضًا. بيئات التشغيل التي تمتلك متاجر إضافات، والتي يذكرها المستودع بأنها Claude Code وQoder وCodex وOpenClaw وQwen Code، تكتسب قدرة عبر إضافة مستودع GitHub كمتجر وتثبيت حزمة مسماة. أما بيئات التشغيل الأخرى، بما فيها Gemini CLI وopencode وpi وQwenPaw، فتسجّل المهارة وخادم MCP في إعداداتها الخاصة. ويشير المستودع إلى أن أسهل طريقة هي ببساطة مطالبة الوكيل بتثبيت القدرة. مستخدمو Windows لديهم مسار واحد مدعوم، وهو WSL2؛ أما Windows الأصلي فلم يُتحقق منه بعد.
متطلبات التشغيل
قصة الاعتماديات خفيفة عمدًا. يثبّت uvx اعتماديات Python لملف التعريف المختار عند أول تشغيل، فلا حاجة إلى pip يدوي. الأشياء الوحيدة التي تثبّتها بنفسك هي أدوات النظام: ffmpeg للفيديو والصوت، بالإضافة إلى libreoffice أو blender أو texlive أو chromium اختياريًا للتصور. ويختبر أمر bash install.sh verify الإعداد ذاتيًا، ويتحقق من مفتاح API، ويبلغ عن أدوات النظام المفقودة.
القراءة الأصلية لا تحتاج إلى مفتاح API. أما الأدوات القائمة على API فتحتاج إليه: يغطي DASHSCOPE_API_KEY محادثة الرؤية، وOCR، والتأريض، والنسخ، والفهم الشامل للصوت والفيديو، والتوليد، وبناء ذاكرة الفيديو؛ ويغطي SERPER_API_KEY البحث على الويب، ومستخرج الويب، والبحث عن الصور. تكتب خطوة التهيئة في المثبّت الموجَّه هذه المفاتيح في ملف الإعدادات المشترك، الذي يُقرأ كلما لم يكن المتغير موجودًا مسبقًا في البيئة.
عمليًا، القراءة ديناميكية الدقة: تُعاد تحجيم كل صورة وإطار فيديو وصفحة مستند تلقائيًا إلى شبكة الرقع الخاصة بنموذج الرؤية اللغوي (VL). تشمل أمثلة المستودع قراءة كل رقم في لقطة شاشة لوحة تحكم بدقة 4K، والتعرف الضوئي على إيصال وحساب إجمالي بنوده، ورسم مربعات حول كل سيارة في مشهد شارع، وطلب النقاط الرئيسية من محاضرة مدتها ساعتان مع طوابع زمنية، وعدّ التمريرات المكتملة في مقطع رياضي، ونمذجة برغي سداسي M6 وتصديره بصيغة STEP.
تراهن Alibaba Cloud بوضوح على أن سير العمل متعدد الوسائط يمتد إلى ما هو أبعد من نظام Qwen البيئي وحده. وتتوافق هذه الخطوة أيضًا مع الاتجاه الذي ظهر في أعمال Qwen Studio الخاصة بالدردشة الآلية، وفهم الصور والفيديو، ومعالجة المستندات، وتكامل البحث على الويب، وفي Qwen2.5-Omni، عائلة النماذج متعددة الوسائط من البداية إلى النهاية التي تتعامل مع النصوص والصور والصوت والفيديو في تدفق واحد. ومع Qwen-MM-Plugins، أصبحت القدرات نفسها تعمل الآن فوق بيئات وكلاء بائعين آخرين. الترخيص هو Apache-2.0، مع تضمين كود جهات خارجية مرخص بترخيص MIT لقدرتَي Blender وFreeCAD، وملفات NOTICE محددة مضمّنة لأغراض الإسناد.
- المصدر : Qwen-MM-Plugins repository README
أهم أخبار التقنية في 3 دقائق كل صباح
بريد إلكتروني واحد، كل يوم عمل، بما يهم فعلاً في الذكاء الاصطناعي والتقنية.