شرح · 6 دقائق قراءة
ما هو مسار البيانات؟
مسار البيانات مجموعة من الخطوات تعمل وفق جدول وتنقل الأرقام من حيث تُنشأ إلى حيث تُقرأ، دون شخص في المنتصف. هذه هي الفكرة كلها، وكل ما هو تقني فيها يخدم هذه الجملة.
معظم الشركات لديها مسار بيانات بالفعل، لكنه مصنوع من أشخاص. يدخل أحدهم إلى نظام الفوترة يوم الاثنين، ويصدّر تقريرًا، ويلصقه في جدول بيانات، ويصحح أسماء الفروع يدويًا، ويضيف أرقام الأسبوع الماضي، ويرسل الملف بالبريد إلى أربعة أشخاص. هذا الروتين مسار بيانات: جمع، وتنقية، وتخزين، وتقديم. وهو يعمل، حتى يأخذ ذلك الشخص إجازة، أو تتغير صيغة التصدير، أو يبدأ اثنان من المستلمين الأربعة بالاحتفاظ بنسختهما الخاصة.
مسار البيانات المبني يفعل الأشياء الأربعة نفسها، بالترتيب نفسه، في الرابعة صباحًا، ويخبر أحدًا حين يفشل.
المرحلة التي تحدد إن كان سينجح
جمع البيانات مشكلة محلولة إلى حد كبير. التنقية هي حيث تنجح المشاريع أو تتعثر بصمت. سيظهر العميل نفسه في أنظمتك بأربع تهجئات مختلفة. ستصل التواريخ بثلاث صيغ. فرع أُغلق عام 2023 سيظل ينتج سجلات. وسيكون أحدهم قد كتب كمية في خانة السعر.
التنقية تعني كتابة هذه التصحيحات مرة واحدة على شكل قواعد، بدل إجرائها من الذاكرة كل شهر. وتعني أيضًا تحديد مصير السجل الذي لا يمكن إصلاحه. جوابنا أنه يذهب إلى جدول عزل مع سبب مرفق، حيث يمكن لأحد مراجعته. لا ينبغي حذف السجلات بصمت أبدًا: مجموع ينقصه 3% دون أن يدري أحد أسوأ من عدم وجود مجموع أصلًا، لأن لا أحد يعرف أنه يجب أن يشك فيه.
لماذا يهم مستودع واحد أكثر من أي لوحة معلومات
مرحلة التخزين تضع كل شيء في مكان واحد بتعريف واحد لكل مصطلح. يبدو هذا تنظيمًا روتينيًا، لكنه في الحقيقة ما يغيّر الاجتماعات. حين تأتي المبيعات والمالية بأرقام إيرادات مختلفة، نادرًا ما يكون الخلاف على الحساب. السبب أن أحدهما يحتسب الطلب عند شحنه والآخر عند فوترته، ولم يكتب أحد ذلك قط. المستودع يفرض كتابة التعريف مرة واحدة، ثم يرثه كل تقرير.
الإتاحة هو المرحلة الأخيرة، والأقل إثارة من الناحية التقنية. تقرأ التقارير ولوحات المعلومات والأنظمة الأخرى من المستودع لا من أنظمة المصدر أو من حاسوب أحدهم. قسمان يقرآن الجدول نفسه لا يمكن أن ينتجا مجموعين مختلفين.
كيف تعرف أنه ما زال يعمل
مسار البيانات الذي يعمل دون إشراف يحتاج إلى مراقبة، ولهذا تعود حلقة المراقبة إلى مرحلة الجمع بدل أن تكون في النهاية. نتحقق من أمرين: هل انتهت المهمة، وهل تبدو النتيجة معقولة. إذا جلب تحميل يوم الثلاثاء أحد عشر سجلًا بينما يجلب عادة أربعة آلاف، فهذا فشل رغم أن شيئًا لم يتعطل. ينبغي أن تسمع بذلك منا قبل أن تكتشفه من رقم يبدو خاطئًا.
ما ليس مسار البيانات
ليس ذكاءً اصطناعيًا، ولا ينتج رؤى من تلقاء نفسه. ينتج أرقامًا موثوقة ومحدّثة ومتفقًا عليها. كل ما سوى ذلك (التقارير والتوقعات والأتمتة) يُبنى فوقه، ولا يُعتمد عليه من دونه. التوقع المدرَّب على تاريخ غير متسق تخمين واثق.
على الأرجح تحتاج إليه إذا كان تجميع رقم شهري يستغرق أكثر من يوم، أو إذا كان قسمان ينتجان نسختين من الرقم نفسه، أو إذا كان رحيل شخص بعينه سيوقف تقاريرك. وعلى الأرجح لا تحتاج إليه بعد إذا كانت كل بياناتك في نظام واحد يقدم تقارير جيدة، ولا أحد ينسخ شيئًا إلى جدول بيانات.
هذا هو نوع العمل الذي يقوم به خط هندسة البيانات الضخمة لدينا.