- ETL
- استخلاص ← توحيد ← Directus
- 7
- تقارير تحليلية مُولَّدة
- الجودة
- قياس الاكتمال والتغطية
التقنيات المستخدمة
- Python
- RTILA Studio
- Playwright
- pandas
- Directus
- Matplotlib
المشكلة
بناء مجموعة بيانات صالحة للاستخدام عن الأنشطة التجارية المحلية من خرائط جوجل يتجاوز مجرد استخلاص الأسماء — فأنت بحاجة إلى سجلات مهيكلة بلا تكرار مع تفاصيل الاتصال، وبحاجة إلى معرفة مدى اكتمال هذه البيانات وجدارتها بالثقة قبل أن يعتمد عليها أحد.
المنهجية
بنيتُ أداة استخلاص بـ Python وRTILA تجمع بطاقات الأنشطة التجارية (مدارس وشركات) في سجلات مهيكلة، وتُجري الاستخراج عبر بيئة تشغيل Playwright وتحمّل النتائج إلى نظام إدارة محتوى بلا واجهة (Directus). ثم تقيس مرحلة تحليل مخصّصة جودة المجموعة المحصودة — الاكتمال، وأبرز الفئات، وأنواع بيانات الاتصال، وصلاحية البريد الإلكتروني، وتغطية حسابات التواصل، وعدد جهات الاتصال لكل مؤسسة — وتعرض النتائج في رسوم بيانية.
النتائج
مجموعة بيانات نظيفة ومُحلَّلة إضافةً إلى تقارير جودة تُظهر بوضوح التغطية والثغرات — الاكتمال حسب الحقل، وتوزيع الفئات، وتفصيل صلاحية البريد الإلكتروني، وتغطية حسابات التواصل — ليعرف المستخدمون اللاحقون بالضبط ما الذي بين أيديهم.
أبرز الحلول الهندسية
- يحصد بطاقات الأنشطة التجارية من خرائط جوجل (مدارس وشركات) في سجلات مهيكلة وفق مخطط موحَّد.
- عمليات ETL إلى نظام إدارة محتوى بلا واجهة (Directus) مع بيئة تشغيل Playwright لمرحلة الاستخراج.
- مكوّن تحليل البيانات يقيس اكتمال السجلات وأبرز الفئات وأنواع بيانات الاتصال وصلاحية البريد وتغطية حسابات التواصل.
- يُنتج رسوماً بيانية جاهزة للنشر تلخّص جودة مجموعة البيانات المحصودة.
لقطات الشاشة والمخططات
لقطات ورسوم حقيقية من الواجهة — الشيفرة خاصة ولا تُعرض علامات العملاء التجارية.
تفاصيل تقنية معمّقة
يقرن هذا المشروع مرحلة الاستخلاص بمرحلة جودة بيانات صريحة، وهو ما يفصل مجموعة بيانات صالحة عن تفريغ خام. فأداة الاستخلاص توحّد كل بطاقة ضمن مخطط ثابت وتحمّلها إلى Directus؛ ثم تجيب مرحلة التحليل عن الأسئلة التي تهمّ مستهلك البيانات فعلاً — ما مدى اكتمال كل حقل، وأي الفئات تهيمن، وكم سجلاً يحمل بريداً صالحاً، وكم منها له حسابات تواصل. وتحويل ذلك إلى رسوم بيانية ينقل الأمر من «استخلصنا بعض الأنشطة التجارية» إلى قول مدعوم بالبيّنة عن التغطية والجودة.