- 200+
- اختبار آلي (حي وغير حي)
- دقائق
- من الرابط إلى أداة استخلاص عاملة
- 3
- أوضاع جلب (عادي / متخفٍّ / Playwright)
التقنيات المستخدمة
- Python
- FastAPI
- Playwright
- Alpine.js
- SQLite
- Claude / GPT SDKs
- Directus
- pytest
المشكلة
إضافة موقع وظائف جديد تعني عادةً أن يكتب مطوّر يدوياً محدّدات CSS/XPath ومنطق الترقيم لكل موقع — وهو عمل بطيء وهش ومكلف الصيانة كلما تغيّرت المواقع. وتوسيع الاستيعاب إلى مصادر كثيرة بهذه الطريقة غير مجدٍ.
المنهجية
بنيتُ منصة على FastAPI وPlaywright تستوعب مواقع الوظائف عبر إعدادات YAML ومحدّدات CSS، مع دعم الترقيم وأوضاع جلب متخفية للمواقع المثقلة بجافاسكربت. والميزة البارزة هي مُنشئ المصادر الوكيل: تلصق رابط موقع وظائف فيقود نموذج لغوي (Claude / GPT عبر SDK) متصفحاً حياً، ويلتقط نسخة من DOM، ويستنتج محدّدات القائمة والترقيم، ثم يُخرج ملف SourceConfig كاملاً ومُتحقَّقاً منه يُفتح في المحرّر للمراجعة. وتُوحَّد النتائج وتُحمَّل إلى نظام إدارة محتوى بلا واجهة (Directus) مع إزالة التكرار وتتبّع الحداثة.
النتائج
أكثر من 200 اختبار آلي بين مجموعات حية وغير حية تحافظ على موثوقية المنصة مع تغيّر المواقع. وانخفض زمن إضافة مصدر جديد من ساعات من كتابة المحدّدات يدوياً إلى دقائق: يحوّل الوكيل الرابط إلى أداة استخلاص عاملة ومُتحقَّق منها يمكنك مراجعتها وإطلاقها فوراً.
أبرز الحلول الهندسية
- مُنشئ مصادر وكيل: نموذج لغوي (Claude / GPT عبر SDK) يقود متصفحاً حياً، ويلتقط DOM، ويستنتج محدّدات القائمة والترقيم، ويُخرج ملف SourceConfig كاملاً ومُتحقَّقاً منه للمراجعة.
- استخلاص متعدد المصادر من إعدادات تصريحية بصيغة YAML ومحدّدات CSS مع الترقيم وخطوات الأتمتة.
- ثلاثة أوضاع جلب — عادي ومتخفٍّ وPlaywright الكامل — للمواقع الساكنة والمثقلة بجافاسكربت.
- تحميل موحَّد إلى نظام إدارة محتوى بلا واجهة (Directus) مع إزالة التكرار وتتبّع الحداثة (first_seen / last_seen).
- فحوص سلامة محدودة لكل مصدر مع تحقق، مدعومة بأكثر من 200 اختبار آلي.
لقطات الشاشة والمخططات
لقطات ورسوم حقيقية من الواجهة — الشيفرة خاصة ولا تُعرض علامات العملاء التجارية.
تفاصيل تقنية معمّقة
تعامل المنصة أداة الاستخلاص بوصفها بيانات لا شيفرة: فكل مصدر هو ملف SourceConfig تصريحي (محدّدات، ترقيم، وضع جلب، خطوات أتمتة) يمكن إدارة إصداراته والتحقق منه وفحص سلامته. وهذا التصميم هو ما يجعل مُنشئ الذكاء الاصطناعي ممكناً — فمهمة الوكيل ببساطة أن يُنتج إعداداً صالحاً يعرف النظام أصلاً كيف يشغّله ويختبره.
يعمل الوكيل في حلقة محكمة من الإدراك ثم الفعل مقابل جلسة متصفح حقيقية: يتنقّل، ويلتقط DOM المعروض، ويقترح محدّدات للقائمة وللحقول المفردة، ويتحقق منها مقابل نتائج حية، ويكرّر حتى يجتاز الإعداد التحقق. ويعرض سجل حي كل تكرار واستدعاءات الأدوات والصفحات المزارة، فيبقى الإنسان في الحلقة قادراً على القبول أو التعديل أو الرفض.