Toptal: Senior Data Engineer – AWS Data Lake & Pipeline Architecture

نبذة عن الدور الوظيفي

نحن نبحث عن مهندس بيانات متمرس لدعم تطوير منصة البيانات الذكية. يتركز هذا الدور على نمذجة البيانات، خدمات البيانات، أنابيب البيانات، والبنية التحتية للبيانات السحابية المخصصة للتقارير والتحليلات وعلوم البيانات.

المسؤوليات والمهام

• المشاركة في تصميم وتنفيذ حلول بيانات عالية الأداء وقابلة للتوسع.
• إنشاء نماذج بيانات من الصفر اعتمادًا على أساسيات SQL قوية.
• كتابة وتحسين أوامر SQL في التطبيقات.
• ضمان الأداء والأمان وتوافر قواعد البيانات.
• إعداد الوثائق والمواصفات الفنية.
• إدارة إجراءات قواعد البيانات مثل التحديثات، النسخ الاحتياطية، الاستعادة، والهجرة.
• تحليل استخدام موارد الخادم وتحسين التكوينات حسب الحاجة.
• تصميم وبناء وأتمتة نشر أنابيب البيانات والتطبيقات.
• دمج البيانات من قواعد البيانات المحلية ومصادر البيانات الخارجية باستخدام REST APIs وأدوات الحصاد.
• التعاون مع الوحدات التجارية وفرق علوم البيانات حول احتياجات الوصول إلى البيانات، تحويلها، معالجتها، والتقارير.
• دعم تنفيذ المشكلات الفنية والتدريب المرتبط بنظام بحيرات البيانات.
• العمل مع الفريق لإدارة موارد AWS بما في ذلك EMR و ECS clusters.
• دعم التخصيص، والمراقبة، والتكوين، وصيانة أدوات AWS.
• تقييم وتعزيز التقنيات السحابية الجديدة لتحسين القدرات وتقليل تكاليف التشغيل.
• دعم جهود الأتمتة باستخدام البنية التحتية ككود مع Terraform وأدوات CI/CD مثل Jenkins.
• التعاون مع الفريق لتنفيذ حوكمة البيانات، التحكم في الوصول، وتقليل مخاطر الأمان.

المؤهلات والشروط المطلوبة

• خبرة تتراوح بين 7 إلى 9 سنوات في تصميم وتطوير نماذج بيانات سحابية، أنابيب ETL، والبنية التحتية.
• خبرة في العمل مع البيانات الهيكلية وغير الهيكلية.
• إجادة قوية في SQL عبر قواعد بيانات شائعة.
• خبرة في تحسين أوامر SQL الكبيرة والمعقدة.
• معرفة بأفضل الممارسات لقاعدة البيانات العلائقية.
• خبرة في تكوين محركات قواعد البيانات وتنظيم الكلاستر.
• القدرة على التخطيط لمتطلبات الموارد من المواصفات العالية.
• القدرة على معالجة المشكلات الشائعة في قواعد البيانات.
• خبرة مع Spark و Glue و EMR و Apache Kafka أو AWS Kinesis.
• خبرة مع أدوات التحكم في النسخ مثل Git أو Subversion.
• خبرة في أنظمة البناء الآلي وعمليات CI/CD.
• خبرة في البرمجة بلغة Java و Python و Scala.
• معرفة بهياكل البيانات والخوارزميات.
• معرفة بقواعد البيانات العلائقية وNoSQL والرسم البياني والمستندات والقيم الرئيسية وسلاسل الزمن.
• معرفة بتصميم وإدارة نماذج البيانات القابلة للتوسع.
• معرفة بنشر نماذج ML.
• معرفة بمنصات سحابية AWS.
• معرفة بـ TDD و BDD.
• اهتمام قوي بتحسين مهارات تطوير البرمجيات والأطر والتقنيات.

المميزات

• فرصة للعمل في نمذجة البيانات، خدمات البيانات، وعلوم البيانات ضمن منصة بيانات ذكية واسعة.
• التعرض لبيئة تقنية متنوعة تشمل AWS، أنابيب ETL، قواعد البيانات، تقنيات البحث، وأنظمة التوصية.
• التعاون المباشر مع فرق علوم البيانات والمعنيين الداخليين حول تقارير، تحويل، وقدرات المنصة.

طريقة التقديم

للتقديم، يرجى زيارة رابط التقديم التالي:

قدم الآن