لا أحد يستطيع أن يقول ما الذي أنجزه وكلاء الترميز بالذكاء الاصطناعي اليوم بالفعل

تنفق الشركات بكثافة على وكلاء الترميز بالذكاء الاصطناعي مع عدم وجود رؤية تقريبًا لسلوكهم الفعلي: ما حاولوا فعله، وما فشل بصمت، وما تمت إعادته ثلاث مرات قبل النجاح. رد علي بابا كلاود، أداة مراقبة مفتوحة المصدر تسمى LoongSuite Pilot، تعالج الفجوة كمسألة أدوات. من المحتمل أن تكون كذلك، لكن حقيقة أن الأداة لم تكن موجودة حتى أصبح الإنفاق مرتفعًا بما يكفي لملاحظتها هي الحقيقة الأكثر إثارة للاهتمام.

المعايير التي تقيس الوكلاء لها مشكلتها الخاصة

تزداد فجوة الرؤية سوءًا عندما تسأل كيف يتم قياس تحسينات هذه الوكلاء. ورقة بحثية جديدة حول التطور الآلي للأداة، وهي ممارسة السماح للوكيل بتحسين هيكله الداعم بشكل تكراري، وجدت أن العديد من المكاسب المبلغ عنها تبدو مثل فرط التجهيز لمجموعة الاختبار العامة بدلاً من تحسين القدرات الحقيقي. في تجارب مباشرة، طرق بسيطة لقياس وقت الاختبار قامت بمطابقة أو تجاوز الأدوات المتطورة، وأظهرت الأدوات المتطورة تعميمًا محدودًا للمهام التي لم يتم ضبطها عليها. هذه نتيجة خطيرة لصناعة تستشهد بشكل روتيني بمعايير تطور الأدوات لتبرير شراء الوكلاء: إذا كان الرقم المتزايد لا يعكس القدرة التي يعتقد المشترون أنها تعكسها، فإن محادثة العائد على الاستثمار التي تكافح الشركات بالفعل لإجرائها تصبح أكثر صعوبة لإجرائها بأمانة.

والكود الذي يكتبه هؤلاء الوكلاء لا يتم فحصه افتراضيًا

خطوة علي بابا المنفصلة لإضافة مراجعة الكود داخل الجلسة، لالتقاط الثغرات قبل وصولها إلى المستودع بدلاً من الاعتماد على نموذج الترميز لتجنب كتابتها، لا معنى لها كمنتج إلا إذا كانت الحالة الافتراضية للكود المولد بالذكاء الاصطناعي غير مراجعة. هذا هو الاعتراف الصامت المدفون في الإعلان: وكلاء الترميز في الصناعة كانوا يشحنون الكود إلى مستودعات الإنتاج بدون بوابة أمان كممارسة قياسية، والبائعون الآن فقط يبنون الحاجز كإضافة اختيارية بدلاً من أن يكون شرطًا أساسيًا.

ثلاث مشاكل، سبب جذري واحد

الإنفاق بدون رؤية، ومكاسب القدرات التي قد تكون قطعًا أثرية للقياس، والكود المشحون بدون مراجعة افتراضية هي ثلاث مشاكل منفصلة على الورق. في الممارسة العملية، تشترك في سبب جذري واحد: تم اعتماد وكلاء الترميز بالذكاء الاصطناعي بسرعة كافية بحيث أن البنية التحتية لمراقبتهم وتقييمهم وتأمينهم يتم بناؤها بعد وقوع الحدث، استجابةً لمشاكل ظهرت بالفعل، بدلاً من قبل. هذا ليس غير مألوف لفئة تكنولوجيا جديدة. تطبيقات الويب مرت بنفس التأخر قبل أن يصبح فحص الأمان قياسيًا، والبنية التحتية السحابية مرت به قبل أن تنضج منصات المراقبة. ما هو غير مألوف هو السرعة: وكلاء الترميز انتقلوا من الجدة إلى بند كبير في الميزانية المؤسسية في حوالي عامين، أسرع من النظام البيئي للأدوات اللازم لمواكبة السرعة.

النتيجة العملية لأي فريق يدير هذه الوكلاء اليوم هي أنه لا ينبغي أخذ أي من الأرقام التي يثقون بها حاليًا، كفاءة الإنفاق، مكاسب القدرات المبلغ عنها في المعايير، جودة الكود، على ظاهرها دون طبقات المراقبة والمراجعة التي تصفها هذه القصص الثلاث. الوكلاء أصبحوا سريعين. قياس ما يفعلونه بالفعل لا يزال يلحق بالركب.