لماذا يعرض لوحة IoT الخاصة بك بيانات الأمس، وكيفية إصلاح ذلك

تولد أجهزة IoT تدفقات مستمرة من القياسات عن بعد، وقراءات درجة الحرارة، وبيانات الاهتزاز، وإحداثيات GPS، والتي يمكن أن تمكن من الوعي التشغيلي في الوقت الفعلي. ولكن هناك مشكلة تظهر عادة فقط بعد بناء لوحات المعلومات: البيانات التي تصل إلى شاشة المشغل غالبًا ما تكون متأخرة ساعات، وأحيانًا أيام.

الفجوة بين ما تبلغ عنه أجهزة الاستشعار وما تعرضه لوحات المعلومات القابلة للتنفيذ ليست مشكلة أجهزة. إنها مشكلة هندسة معمارية. في أحد التطبيقات المرجعية على Alibaba Cloud، كان التحدي بسيطًا في الوصف ولكنه صعب في الحل: منصة IoT كشفت عن القياسات عن بعد فقط من خلال REST API، بينما كان تطبيق المراقبة بحاجة إلى تلك البيانات في قاعدة بيانات علائقية. بدون طبقة تنسيق، واجه المهندسون مجموعة من المخاطر التشغيلية: نوافذ بيانات مفقودة، تحديثات جزئية، سجلات مكررة، وعدم وجود رؤية حول متى حدثت آخر مزامنة ناجحة. تم التأكيد على دور التنسيق في التعامل مع مثل هذا التعقيد في مجالات أخرى أيضًا، وفقًا لـ تحليل لماذا غالبًا ما تتفوق التنسيق على القدرة الخام.

الاختناق الحقيقي: توصيل البيانات، وليس جمعها

حدد الفريق المسؤول عن هذا التكامل التحدي الرئيسي ليس في جمع قراءات أجهزة الاستشعار ولكن في ضمان التسليم الموثوق. كانت منصة المراقبة بحاجة إلى تحديثات متسقة وفي الوقت المناسب، لكن منصة IoT لم يكن لديها آلية دفع مدمجة. أي نهج يدوي أو مخصص سيتدهور بسرعة تحت حجم النشر النموذجي: مئات الأجهزة التي تنقر على نقاط النهاية على فترات غير منتظمة، كل منها يعتمد على توفر الشبكة، حدود معدل API، وحمل الخادم.

الحل الذي استقروا عليه يفصل المسؤوليات إلى أربع طبقات منطقية، كل منها بمهمة واحدة: طبقة مصدر البيانات (أجهزة IoT التي ترسل القياسات عن بعد عبر نقاط نهاية REST)، طبقة التنسيق (Alibaba Cloud DataWorks، التي تجدول وتنفذ وتراقب سير عمل المزامنة)، طبقة التخزين (Alibaba Cloud ApsaraDB RDS، حيث تهبط البيانات المتزامنة)، وطبقة العرض (لوحات المعلومات والتطبيقات التي تستهلك تلك البيانات). من خلال فصل هذه المراحل، يسمح النظام لكل جزء بالتطور بشكل مستقل. يمكنك إضافة أنواع جديدة من الأجهزة دون لمس مخطط قاعدة البيانات، أو تبديل محركات التخزين دون إعادة كتابة منطق المزامنة.

كيف يعمل التنسيق

يعمل DataWorks كمحرك الأتمتة. وفقًا لجدول زمني قابل للتكوين: كل خمس عشرة دقيقة، أو كل ساعة، أو ليلاً، يقوم بتشغيل سير عمل يصل إلى REST API لمنصة IoT، ويسحب سجلات القياسات عن بعد التي تغيرت منذ التشغيل الأخير، ويطبق أي تحويل ضروري (تحويل الوحدات، إزالة التكرار، تطبيع الطوابع الزمنية)، ويكتب النتيجة إلى الجداول العلائقية في ApsaraDB RDS. إذا فشلت مكالمة، يعيد DataWorks المحاولة مع التراجع الأسي. إذا استمر الفشل، يتم إطلاق تنبيه. يتم تسجيل التسلسل بأكمله في سجلات طبقة التنسيق، مما يعطي المشغلين جدولًا زمنيًا واضحًا لما نجح وما لم ينجح’.

يتجنب هذا الأسلوب تعقيد بناء خدمة تكامل مخصصة. لا خادم ETL مخصص للصيانة، ولا مهمة cron في Java تتوقف بصمت بعد تحديث النواة، ولا حلقة استقصاء تستهلك دورات الحوسبة حتى عندما لا توجد بيانات جديدة. تتعامل المنصة مع الجدولة وإدارة الحالة، بينما يركز فريق الهندسة على منطق الأعمال: تحديد البيانات المهمة، وعدد مرات المزامنة، وما هي التنبيهات التي يجب تشغيلها عندما يتوقف خط الأنابيب.

ما تكسبه بفصل الاهتمامات

يقدم التصميم مزايا تتجاوز الراحة. نظرًا لأن DataWorks يعمل وفقًا لجدول زمني بدلاً من الاستمرار، فإن تكاليف الحوسبة تنخفض مقارنة بخدمة استقصاء تعمل على مدار الساعة طوال أيام الأسبوع. كل تنفيذ لسير العمل له مدة محدودة، وفترات الخمول لا تكلف شيئًا.