خط أنابيب البحث في الذكاء الاصطناعي لديك معطل. هذا الإطار مفتوح المصدر يصلح السباكة.

أصبح بناء بنية تحتية للبحث لتطبيقات الذكاء الاصطناعي فئة من الألم الهندسي التي تقبل معظم الفرق بأنها لا مفر منها. النمط مألوف: اختر أداة تغذية، واختر قاعدة بيانات متجهات، وقم بتوصيل مكتبة استرجاع، وأضف نصوص تقييم لا تشارك الافتراضات مع أي مما سبق. يتحدث كل مكون لغة البيانات الخاصة به، ويتوقع تنسيق المستند الخاص به، وينهار عندما يتغير خط الأنابيب في المنبع. أداة IBM مفتوحة المصدر CUGA تتجاوز التعقيدات وتذهب…

يتناول الإصدار التجريبي العام اليوم من Search Toolkit هذا التجزئة بشكل مباشر. يجلب إطار العمل مفتوح المصدر، الذي بناه فريق طور بنية تحتية للبحث المؤسسي لسنوات، عمليات التغذية والاسترجاع والتقييم تحت واجهة واحدة قابلة للتكوين. يعمل أينما تعمل البنية التحتية للفريق، سواء في السحابة أو في الموقع أو الحافة، ويحمل الفكرة الصريحة بأن الفرق يجب أن تقضي وقتها الهندسي على جودة البحث، وليس تجميع خط الأنابيب. نموذج الذكاء الاصطناعي الخاص بك يدعي أنه يقرأ مليون…

"بنيناه لأن الفرق التي تبني بنية تحتية للبحث لا تزال تقضي وقتًا هندسيًا كبيرًا في أعمال السباكة،" كتب فريق الإصدار. "معظمها يربط أدوات منفصلة للتغذية والاسترجاع والتقييم، لكل منها واجهتها الخاصة وافتراضاتها الخاصة حول البيانات."

التكلفة الحقيقية للتقليب التكاملي

المشكلة الأساسية ليست في أن الأدوات الفردية سيئة. بل أن كل نقطة تكامل بينها تخلق سطح صيانة ينمو مع كل مصدر بيانات جديد، وكل تغيير في المخطط، وكل تشغيل تقييم. تذكر الفرق أنها تقضي أسابيع لمجرد الوصول إلى النقطة التي يمكنها فيها تشغيل استعلام واحد ضد بياناتها الخاصة. غالبًا ما يتطلب قياس جودة الاسترجاع سلسلة أدوات أخرى، مع افتراضات شكل البيانات الخاصة بها والتي قد تتطابق أو لا تتطابق مع ما أنتجه خط أنابيب التغذية. أفق التحقق: لماذا أصبح التحقق من وكلاء البرمجة أصعب من…

يهاجم Search Toolkit هذا على مستوى البنية. جميع الوحدات، التغذية والاسترجاع والتقييم، تشترك في واجهة تكوين مشتركة. قم بتبديل أداة استرجاع، أضف أداة تقييم، غير استراتيجية التقطيع. بقية خط الأنابيب يتكيف دون إعادة توصيل يدوية.

ثلاث مشاكل، إطار عمل واحد

يقسم الإصدار حالات الاستخدام إلى ثلاث فئات، تمثل كل منها نقطة ألم مميزة في عمليات نشر البحث المؤسسي الحالية.

تجزئة البحث المؤسسي. معظم المؤسسات ليس لديها مشكلة بحث واحدة. لديهم عشرات: ويكيات داخلية، أنظمة تذاكر الدعم، مستودعات المستندات، تخزين الملفات، قواعد الأكواد. لكل مصدر هيكل وبيانات وصفية مختلفة، مما يتطلب معالجة مختلفة لفهرستها بشكل جيد. النتيجة القياسية هي إما فهارس منعزلة لا يمكن البحث فيها معًا أو طبقة مخصصة هشة تصبح عبء صيانة خاصًا بها. يوفر Search Toolkit أنماط معالجة وفهرسة متسقة عبر أنواع المصادر، بحيث لا تعني إضافة مصدر جديد إعادة بناء خط الأنابيب.

عزل جودة RAG. عندما يعيد نظام التوليد المعزز بالاسترجاع نتائج ضعيفة، تفتقر الفرق عادةً إلى طريقة نظيفة لتحديد ما إذا كانت المشكلة في الاسترجاع أم التوليد. رد الفعل التلقائي هو تعديل المطالبات، وضبط التقطيع، وتبديل النماذج، كل ذلك دون معرفة ما إذا كانت أداة الاسترجاع تظهر السياق الصحيح. يتضمن Search Toolkit مقاييس تقييم مدمجة (الاستدعاء، الدقة، MRR, NDCG) تقيس أداء أداة الاسترجاع بشكل مستقل، مما يسمح للفرق بعزل جودة الاسترجاع عن جودة التوليد. عامل الذكاء الاصطناعي الخاص بك اجتاز الاختبار بالصدفة.…

الاسترجاع الخاص بالمجال. تم تدريب أدوات الاسترجاع الجاهزة على نصوص عامة وتواجه صعوبة مع المصطلحات المتخصصة وهياكل المستندات للملفات القانونية والسجلات الطبية وقواعد الأكواد والإفصاحات المالية. غالبًا ما ينتهي الأمر بالفرق التي تبني استرجاعًا مخصصًا للمجال إلى بناء بنية تحتية مخصصة من الصفر. تسمح أدوات الاسترجاع القابلة للتكوين في Search Toolkit، BM25 المتناثر، القائم على التضمينات الكثيفة، والتكوينات الهجينة، للفرق بالتوليف لمجالها الخاص دون إعادة بناء طبقة الاسترجاع. كيف تقوم نماذج الذكاء الاصطناعي المحلية مثل Gemma و…

البحث في بنية وكيلة

يصل إطار العمل في لحظة يعيد فيها نموذج الوكيل تشكيل كيفية تفكير المؤسسات في الاسترجاع. يحتاج الوكلاء العاملون على المهام المؤسسية إلى الوصول إلى السياق المؤسسي، ويتخذون قرارات الاسترجاع بشكل مستقل وبحجم كبير. تؤثر جودة البنية التحتية بشكل مباشر على كل خطوة نهائية.

يدعم Search Toolkit مسارين للاسترجاع للوكلاء: البحث الدلالي المفهرس عبر مجموعات كبيرة من المستندات وسحب البيانات الحية من الأنظمة المصدرية من خلال تكاملات MCP. يمكن للوكيل الاستعلام عن كوربوس مفهرس عندما يحتاج إلى البحث عبر مجموعة كبيرة من المحتوى، وسحب البيانات الحية من CRM أو مستودع الأكواد أو أداة الإنتاجية عندما يحتاج إلى أحدث حالة. وكلاء الذكاء الاصطناعي لا يستطيعون إكمال ترحيل Java دون…

عمليات نشر مجربة في الميدان

تم تصميم إطار العمل لحالات الاستخدام المؤسسي المتقدمة واختباره عبر قطاعات الخدمات المالية والتصنيع والقطاع العام والإعلام. أحد عمليات النشر البارزة تتضمن CMA CGM، التي تستخدم Search Toolkit جنبًا إلى جنب مع Voxtral لمساعدة الصحفيين في اكتشاف الأخبار المزيفة. يعالج خط الأنابيب الصوت من ثلاثة مصادر بيانات متميزة ويعيد التنبيهات في غضون 15 ثانية من البداية إلى النهاية. prompting-a-frontier-model-a-publishers-field-notes-from-the-first-iteration

تم إصدار Search Toolkit كمصدر مفتوح وهو متاح الآن من خلال قالب تطبيق بداية يوفر فهرسة Vespa مهيأة مسبقًا واسترجاعًا هجينًا وبيانات عينة. تغطي الوثائق الكاملة إدارة المخططات وتحسين الصلة وميزات الاسترجاع المتقدمة بما في ذلك إعادة كتابة الاستعلام بواسطة LLM وإعادة الترتيب.