وكيل البيانات الجديد من علي بابا يريد أن يكون الشيف الذي لا تستطيع ذكاءك الاصطناعي الاستغناء عنه

هناك سر قذر لا تتحدث عنه معايير LLM. كل نموذج يحتاج إلى بيانات تدريب، وخطوط أنابيب RAG تحتاج إلى مستندات مصدر، والوكلاء يحتاجون إلى شيء يعملون عليه. لكن الأشخاص الذين يديرون هذه الأنظمة يقضون وقتًا أطول في كتابة نصوص ETL بدلاً من ضبط المعلمات. أصدر فريق ApsaraDB من سحابة علي بابا للتو منتجًا يتحدث مباشرة عن هذا الخلل.

DataBridge Agent، المتاح الآن بشكل عام، هو وكيل ذكي لجمع البيانات متعددة المصادر وتحليلها وهيكلتها. يتصل بقواعد البيانات (MySQL, Oracle, PostgreSQL, PolarDB, SQL Server, AnalyticDB)، وصفحات الويب (HTML الثابتة والصفحات الديناميكية عبر انتحال API)، وتنسيقات المستندات (PDF, Word, Excel, PPT, Markdown، وحتى المستندات الممسوحة ضوئيًا عبر OCR). الناتج هو JSON أو CSV أو Parquet قياسي، جاهز لتدريب LLM أو تحليل BI أو سير عمل الوكلاء.

العرض الأساسي مباشر: ألقِ بالبيانات الأولية، واحصل على بيانات منظمة. لكن المشكلة التي يحلها ليست تافهة بأي حال.

عنق الزجاجة في البيانات الذي لا يخصص له أحد ميزانية

اقضِ أي وقت داخل فريق بيانات وستسمع نفس الشكاوى. البيانات تعيش في صوامع، بعضها في Oracle، وبعضها في ملفات Excel يتم تداولها عبر WeChat، وبعضها مدفون في ملفات PDF بخلايا مدمجة وأعمدة غير محاذية. قد يقضي عالم البيانات أسبوعين لمجرد معرفة ما لديه قبل كتابة حلقة تدريب واحدة. تحويلات التنسيق تلتهم جزءًا آخر: CSV هنا، JSON هناك، Parquet في مكان آخر. ثم هناك المطاحن الدؤوبة لكشط الويب، تنهار النصوص عندما يتغير هيكل الصفحة، وتصبح الحماية أكثر تشددًا، وفجأة تجد نفسك تحافظ على أدوات الكشط بدلاً من بناء النماذج.

يقلص DataBridge Agent هذا إلى خطوة تكوين. محرك DPI المدمج يكتشف تلقائيًا الحقول ورؤوس الجداول والعلاقات الهرمية. يمكن للمستخدمين تحديد قواعد تعيين مخصصة لمطابقة اتفاقيات أعمالهم. الوكيل يعالج طبقة التحويل حتى لا يضطر الفريق إلى ذلك.

أين يتناسب في مجموعة الذكاء الاصطناعي

تضع علي بابا DataBridge Agent كطبقة معالجة مسبقة للبيانات لثلاث حالات استخدام متميزة:

• تدريب LLM، بيانات تدريب نظيفة ومتسقة من مصادر غير متجانسة، منظمة ومنزوعة الازدواجية قبل أن تصل إلى النموذج.
• سير عمل الوكلاء، إدخال بيانات في الوقت الفعلي بحيث يعمل التوليد المعزز بالاسترجاع والوكلاء المستقلون دائمًا من مدخلات حالية بدلاً من لقطات قديمة.
• تكامل API، تنسيق إخراج قياسي يمكن للتطبيقات الحالية استهلاكه دون تغيير مخططها.

المنتج يتعامل أيضًا مع نقل البيانات عبر البيئات، من الموقع المحلي إلى السحابة، ومن السحابة الخاصة إلى السحابة العامة، أو بين مناطق سحابية مختلفة، مع اتصال VPC peering أو خطوط مؤجرة أو اتصال إنترنت، بالإضافة إلى القوائم البيضاء للـ IP وضوابط الوصول في الأعلى. هذا مهم للمؤسسات التي لديها التزامات امتثال حول إقامة البيانات.

ليس الأول، لكن التوقيت مناسب

علي بابا لا تخترع فئة جديدة. العديد من المشاريع مفتوحة المصدر وأدوات SaaS تقوم بالفعل بأجزاء من هذا: Airbyte للموصلات، Unstructured لتحليل المستندات، LlamaIndex لخطوط أنابيب RAG. ما يميز DataBridge Agent هو التجميع. وكيل واحد يتعامل مع كشط الويب، واستخراج قواعد البيانات، وOCR للمستندات، وتحويل التنسيق، والتسليم الآمن، دون كتابة كود محول، أمر نادر في الممارسة، حتى لو بدا واضحًا على الورق.

التوقيت يعكس تحولًا أوسع. مع اعتماد المزيد من الفرق لنماذج متخصصة أصغر للإنتاج بدلاً من الاعتماد على API عملاق واحد، يصبح خط أنابيب البيانات عنق الزجاجة. عمل بناء مجموعة بيانات خاصة بالمجال، سحب من قاعدة بيانات CRM، كشط صفحات أسعار المنافسين، استخراج الجداول من ملفات PDF التنظيمية، هو بالضبط نوع المهمة المتعددة الخطوات المملة التي يجيدها الوكيل. السخرية ليست خافية: أنت بحاجة إلى وكيل ذكاء اصطناعي لإعداد البيانات لوكلاء ذكاء اصطناعي آخرين.

الاختبار الحقيقي سيكون مدى جودة تعامل محرك DPI مع الحالات الحدودية التي تعطل معظم محللي المستندات: جداول PDF بحدود مفقودة، فواتير ممسوحة ضوئيًا بتعليقات يدوية، صفحات ويب تحمل المحتوى ديناميكيًا بعد ثلاث استدعاءات API وcaptcha. وثائق علي بابا تعد بدعم كل هذه، لكن جودة الإخراج المنظم تحدد ما إذا كانت الأداة مفيدة حقًا أم مجرد مكتبة موصلات أخرى بواجهة مستخدم أجمل.

في الوقت الحالي، يسد المنتج فجوة حقيقية. ذكاء النماذج تجاوز البنية التحتية للبيانات، والفجوة تتسع فقط. DataBridge Agent لا يدعي سدها بالكامل، لكنه يحدث ثغرة في الجزء الأكثر إيلامًا: العمل غير المرئي الذي لا ينتهي لتحويل البيانات الفوضوية الأولية إلى شيء يمكن للنموذج استخدامه بالفعل.