Toptal: Senior Data Engineer – AWS Data Lake & Pipeline Architecture

نبذة عن الدور الوظيفي

نبحث عن مهندس بيانات أول للانضمام إلى فريق تطوير منصة معلومات البيانات. يركز هذا الدور على نمذجة البيانات، خدمات البيانات، وعمارة خطوط البيانات في البيئات السحابية، ويهدف إلى تحسين عمليات التقارير، التحليلات، وعلوم البيانات.

المسؤوليات والمهام

• المشاركة في تصميم وتنفيذ حلول بيانات عالية الأداء وقابلة للتوسع.
• إنشاء نماذج بيانات من الصفر باستخدام قواعد SQL القوية.
• كتابة وتحسين بيانات SQL داخل التطبيق.
• ضمان الأداء والأمان وتوافر قواعد البيانات.
• إعداد الوثائق والمواصفات الفنية.
• التعامل مع إجراءات قاعدة البيانات مثل التحديثات، النسخ الاحتياطية، الاسترداد، والهجرة.
• تقييم استخدام موارد الخادم وتحسين التكوينات حسب الحاجة.
• تصميم وبناء وأتمتة نشر خطوط البيانات والتطبيقات.
• دمج البيانات من قواعد البيانات المحلية والمصادر الخارجية باستخدام واجهات برمجة التطبيقات REST وأدوات الحصاد.
• التعاون مع وحدات الأعمال وفرق علوم البيانات بشأن احتياجات الوصول والتحويل والمعالجة والتقارير.
• دعم تنفيذ المشكلات الفنية والتدريب المتعلق بنظام بحيرة البيانات.
• إدارة موارد AWS بما في ذلك EMR وECS.
• دعم عملية التوفير والمراقبة والتكوين وصيانة أدوات AWS.
• تقييم وتعزيز التقنيات السحابية الجديدة التي تحسن القدرات وتقلل من تكاليف التشغيل.
• دعم جهود الأتمتة باستخدام البنية التحتية ككود مع Terraform وأدوات CI/CD مثل Jenkins.
• التعاون مع الفريق لتنفيذ حوكمة البيانات وضبط الوصول وتقليل مخاطر الأمان.

المؤهلات والشروط المطلوبة

• 7-9 سنوات من الخبرة في تصميم وتطوير نماذج البيانات السحابية، وخطوط ETL، والبنية التحتية.
• خبرة في العمل مع البيانات الهيكلية وغير الهيكلية.
• إجادة قوية في SQL عبر قواعد البيانات الشائعة.
• خبرة في تحسين عبارات SQL الكبيرة والمعقدة.
• معرفة بأفضل الممارسات لقواعد البيانات العلائقية.
• خبرة في تكوين محركات قواعد البيانات وتنسيق الكتل.
• قدرة على تخطيط متطلبات الموارد بناءً على مواصفات عالية المستوى.
• قدرة على استكشاف الأخطاء وإصلاحها في المشكلات الشائعة لقواعد البيانات.
• خبرة مع Spark وGlue وEMR وApache Kafka أو AWS Kinesis.
• خبرة مع أدوات التحكم في الإصدارات مثل Git أو Subversion.
• خبرة في استخدام أنظمة البناء الآلية وعمليات CI/CD.
• خبرة في برمجة Java وPython وScala.
• معرفة بهياكل البيانات والخوارزميات.
• معرفة بقواعد البيانات العلائقية وNoSQL والرسومية والمستندات والمفتاح-القيمة وقواعد البيانات الزمنية.
• معرفة بتصميم وإدارة نماذج البيانات القابلة للتوسع.
• معرفة بنشر نماذج التعلم الآلي.
• معرفة بمنصات AWS السحابية.
• معرفة بعمليات TDD وBDD.
• اهتمام قوي بتحسين مهارات تطوير البرمجيات والأطر والتقنيات.

المميزات

• فرصة العمل في مجالات نمذجة البيانات، خدمات البيانات، وعلوم البيانات ضمن منصة معلومات البيانات الأوسع.
• التعرض لبيئة تقنية متنوعة تشمل AWS، خطوط ETL، قواعد البيانات، تقنيات البحث، وأنظمة التوصية.
• التعاون المباشر مع فرق علوم البيانات والجهات الداخلية بشأن التقارير والتحويلات والقدرات المنصات.

طريقة التقديم

إذا كنت مهتمًا بهذه الفرصة، يرجى زيارة الرابط أدناه لتقديم طلبك:

تقدم الآن