Toptal: Senior Data Engineer – AWS Data Lake & Pipeline Architecture

نبذة عن الدور الوظيفي والشركة

نحن نبحث عن مهندس بيانات لدعم تطوير منصة ذكاء البيانات. يركز هذا الدور على نمذجة البيانات وخدمات البيانات وأنابيب البيانات والبنية التحتية السحابية لإعداد التقارير والتحليلات وعلوم البيانات. سيقوم مهندس البيانات هذا بدعم العمليات المتعلقة بالبيانات عبر فريق منصة ذكاء البيانات الأوسع.

المسؤوليات والمهام الوظيفية الرئيسية

• المشاركة في تصميم وتنفيذ حلول البيانات عالية الأداء والقابلة للتوسع.
• إنشاء نماذج بيانات من الصفر باستخدام قواعد SQL قوية.
• كتابة وتحسين بيانات SQL داخل التطبيق.
• ضمان أداء وأمان وتوافر قواعد البيانات.
• إعداد الوثائق والمواصفات الفنية.
• التعامل مع إجراءات قواعد البيانات مثل الترقية، النسخ الاحتياطي، الاسترداد، والهجرة.
• تقييم استخدام موارد الخادم وتحسين التكوينات حسب الضرورة.
• تصميم وبناء وأتمتة نشر أنابيب البيانات والتطبيقات.
• دمج البيانات من قواعد البيانات المحلية ومصادر البيانات الخارجية باستخدام واجهات برمجة التطبيقات REST وأدوات جمع البيانات.
• التعاون مع الوحدات التجارية وفرق علوم البيانات بشأن الوصول إلى البيانات وتحويلها ومعالجتها واحتياجات التقارير.
• دعم التنفيذ، القضايا الفنية، والتدريب المتعلق بنظام بحيرة البيانات.
• العمل مع الفريق لإدارة موارد AWS، بما في ذلك EMR و ECS.
• دعم توفير ومراقبة وتكوين وصيانة أدوات AWS.
• تقييم وتعزيز تقنيات السحابة الجديدة التي تحسن من القدرات وتخفض التكاليف التشغيلية.
• دعم جهود الأتمتة باستخدام البنية التحتية كرمز مع Terraform وأدوات CI/CD مثل Jenkins.
• العمل مع الفريق لتنفيذ حوكمة البيانات، التحكم في الوصول، وتقليل المخاطر الأمنية.

الشروط والمؤهلات والخبرات المطلوبة

• 7-9 سنوات من الخبرة في تصميم وتطوير نماذج بيانات سحابية، خطوط ETL، والبنية التحتية.
• خبرة في العمل مع كل من البيانات المنظمة وغير المنظمة.
• براعة قوية في SQL عبر قواعد البيانات الشهيرة.
• خبرة في تحسين بيانات SQL الكبيرة والمعقدة.
• معرفة بأفضل الممارسات لقواعد البيانات العلائقية.
• خبرة في تكوين محركات قواعد البيانات وتنظيم المجموعات.
• قدرة على تخطيط متطلبات الموارد من المواصفات عالية المستوى.
• قدرة على استكشاف المشاكل الشائعة في قواعد البيانات.
• خبرة مع Spark، Glue، EMR، و Apache Kafka أو AWS Kinesis.
• خبرة في استخدام أدوات التحكم في الإصدارات مثل Git أو Subversion.
• خبرة في استخدام أنظمة البناء الآلي وسير عمل CI/CD.
• خبرة في البرمجة بلغة Java و Python و Scala.
• معرفة بهياكل البيانات والخوارزميات.
• معرفة بقواعد البيانات العلائقية وNoSQL والرسمية والمستندات والمفتاح-القيمة والبيانات الزمنية.
• معرفة بتصميم وإدارة نماذج بيانات القابلة للتوسع.
• معرفة بنشر نماذج ML.
• معرفة بمنصات AWS السحابية.
• معرفة بتطوير البرمجيات وفقًا لممارسات TDD وBDD.
• اهتمام قوي بتحسين مهارات تطوير البرمجيات والأطر والتقنيات.

المزايا

• فرصة للعمل عبر نمذجة البيانات، خدمات البيانات، وعلوم البيانات ضمن منصة ذكاء البيانات الأوسع.
• التعرض لبيئة تقنية متنوعة تشمل AWS وخطوط ETL وقواعد البيانات وتقنيات البحث وأنظمة التوصيات.
• التعاون المباشر مع فرق علوم البيانات والمساهمين الداخليين بشأن التقارير والتحويلات وقدرات المنصة.