لماذا لا يزال نموذج OCR يبلغ من العمر ستة أشهر يتفوق على المنافسين الأحدث في اللغة البرتغالية البرازيلية

بعد ثلاثة أشهر من نشر ورقة بحثية حول DharmaOCR، يعود المؤلفون بمتابعة. وصلت نماذج جديدة، تعمل على بنى أحدث، مدعومة بموارد كبيرة. ومع ذلك، على نفس المعيار البرتغالي، لا يزال DharmaOCR يتقدم بهامش يتراوح بين 13 و 16 نقطة مئوية على Mistral OCR4 و Unlimited-OCR، على التوالي.

هذا ليس ادعاءً بأن بنية النموذج متفوقة. إنه توضيح مضبوط لديناميكية هيكلية تستمر بغض النظر عن جيل الأجهزة. عندما تركز مجموعة ثابتة من المعلمات على لغة واحدة بدلاً من توزيعها على عدة لغات، يستخلص النموذج أداءً أكبر من هذا المجال. الفجوة، القابلة للقياس والمتسقة، هي التوقيع التجريبي لتلك الديناميكية.

كيف يعمل خط الأنابيب

يتدرب DharmaOCR على مرحلتين. الأولى هي الضبط الدقيق الخاضع للإشراف على مجموعة واسعة من المستندات باللغة البرتغالية. الفواتير والامتحانات والملاحظات المكتوبة بخط اليد والنماذج الرسمية. توجه هذه المرحلة القدرة التمثيلية للنموذج نحو الأنماط المعجمية والصرفية والإملائية للغة البرتغالية البرازيلية. تطبق المرحلة الثانية تحسين التفضيل المباشر (DPO). يدرب هذا النموذج على تفضيل الاستخراجات النصية الكاملة المتماسكة بدلاً من الاستخراجات غير المكتملة أو المتكررة، بدلاً من تحسين دقة الرمز الواحد. والنتيجة هي نموذج يقرأ البرتغالية جيدًا ويظل مستقرًا عندما تتدهور إشارة الإدخال.

قام المعيار الأصلي بقياس جودة الاستخراج ومعدل التدهور في وقت واحد. حصل DharmaOCR على أعلى درجة جودة في فئته مع أدنى معدل من المخرجات المتكررة أو غير المتماسكة. تختبر المقارنة الجديدة ما إذا كان هذا الموقف صامدًا مقابل النماذج التي صدرت بعده، باستخدام نفس بروتوكول التقييم.

نتائج المعيار

الأرقام الرئيسية على المعيار البرتغالي:

الفرق ليس صغيرًا. يتخلف Mistral OCR4 بحوالي 13 نقطة. يتخلف Unlimited-OCR بأكثر من 16. تم إطلاق كليهما بعد DharmaOCR، وكلاهما يظهر قدرة متعددة اللغات قوية، وكلاهما يفشل في الإشارات اللغوية التي تحدد المجال المستهدف.

ما تكشفه الأخطاء

خذ مقال ENEM، الامتحان الوطني البرازيلي للمدرسة الثانوية، الذي يحتوي على اسم الموسيقي والشاعر شيكو بواركي. نقله Mistral OCR4 كـ "Chico Barque." أعاد Unlimited-OCR نفس الاسم كـ "chico bique." اقتباس من نفس المقال، "O Brasil não exclui, assimila،" تحول إلى "a dose de chico bique, 'o Brasil no exclu, eliminila." هذه ليست تحريفات عشوائية. تحدث بدقة عند المفردات والأسماء الصحيحة التي تميز البرتغالية البرازيلية عن المجموعة متعددة اللغات الأوسع. النموذج المدرب على كمية كافية من البرتغالية لا يرتكب هذه الأخطاء لأن موارده كانت مخصصة على وجه التحديد لهذا الفضاء المعجمي.

طريقة الفشل الثانية هي أكثر ضررًا من الناحية التشغيلية: تدهور النص. عندما يواجه نموذج توليدي يعتمد على التنبؤ بالرمز التالي مستندًا ذا جودة بصرية رديئة، أو خطوط صغيرة، أو مسوحات ضوئية متدهورة، يمكن أن يفقد أساسه وينتج مخرجات لا علاقة لها بالمصدر. في المقارنة، أنتج Mistral OCR4 نصًا منفصلًا تمامًا على مثل هذه المدخلات. المخرجات ليست غير دقيقة فقط. إنها غير قابلة للاستخدام هيكليًا للمهام النهائية مثل التصنيف أو استخراج المعلومات.

يتعامل DharmaOCR مع نفس المستندات بشكل صحيح لأن مرحلة DPO الخاصة به تعاقب صراحة فقدان التماسك على مستوى الاستخراج. تعلم النموذج التمييز بين المخرجات الكاملة والمستقرة والمخرجات المنحرفة. هذه إشارة تدريب لا يوفرها SFT وحده.

المنطق الهيكلي

يجادل المؤلفون بأن الميزة ليست تاجًا دائمًا بل توضيحًا لمبدأ. مع تحسن البنى وتقدم تقنيات التدريب، يرتفع السقف المطلق للأداء لجميع النماذج. ما لا يتغير هو قيد التخصيص. يجب أن تذهب المعلمات المحدودة إلى مكان ما. النظام الذي يركزها على مجال واحد سيتفوق على النظام الذي يوزعها على عدة مجالات، بغض النظر عن مدى قدرة العام. هذه هي نظرية "لا يوجد غداء مجاني" المطبقة على تخصص OCR.

الأدوات الأفضل لا تقوض الحجة. إنها توسع ما يمكن أن يحققه التخصص. سيعتمد الإصدار التالي من DharmaOCR بنى وطرق تدريب أحدث، ولكن دائمًا بنفس الهدف المركز.