Toptal: Senior Data Engineer – AWS Data Lake & Pipeline Architecture

فرصة عمل: مهندس بيانات أول – تصميم بنية بيانات AWS

نحن نبحث عن مهندس بيانات للانضمام إلى فريق تطوير منصة الذكاء البياني. يركز هذا الدور على نمذجة البيانات، خدمات البيانات، خطوط البيانات، والبنية التحتية السحابية للعرض والتحليل وعلوم البيانات.

نبذة عن الدور الوظيفي

سيدعم مهندس البيانات العمليات المتعلقة بالبيانات عبر فريق منصة الذكاء البياني. تشمل المهام بناء واستخدام خدمات الويب، تكامل تقنيات البحث، دعم المحركات الشخصية ومحركات التوصية، وتطبيق أفضل الممارسات في هندسة البيانات عبر المنصة.

المسؤوليات والمهام

• المشاركة في تصميم وتنفيذ حلول بيانات عالية الأداء وقابلة للتوسيع.
• إنشاء نماذج بيانات من الصفر باستخدام أساسيات SQL قوية.
• كتابة وتحسين عبارات SQL في التطبيقات.
• ضمان أداء وأمان وتوافر قواعد البيانات.
• إعداد الوثائق والمواصفات الفنية.
• إدارة إجراءات قواعد البيانات مثل التحديثات، النسخ الاحتياطي، الاسترداد، والترحيل.
• تقييم استخدام موارد الخوادم وتحسين التكوينات حسب الحاجة.
• تصميم وبناء وأتمتة نشر خطوط البيانات والتطبيقات.
• تكامل البيانات من قواعد البيانات المحلية ومصادر البيانات الخارجية باستخدام واجهات برمجة التطبيقات وأدوات جمع البيانات.
• التعاون مع وحدات الأعمال وفرق علوم البيانات حول احتياجات الوصول والتحويل والمعالجة والتقارير.
• دعم التنفيذ، وحل المشكلات الفنية، والتدريب المتعلق بنظام بحيرة البيانات.
• إدارة موارد AWS بالتعاون مع الفريق، بما في ذلك EMR وECS.
• دعم التأمين والتكوين والصيانة لأدوات AWS.
• تقييم وتعزيز تقنيات السحابة الجديدة لتحسين القدرات وتقليل التكاليف التشغيلية.
• دعم جهود الأتمتة باستخدام كود البنية التحتية مع Terraform وأدوات CI/CD مثل Jenkins.
• المشاركة في تنفيذ إدارة البيانات، والتحكم في الوصول، وتقليل المخاطر الأمنية.

المؤهلات والشروط المطلوبة

• 7-9 سنوات من الخبرة في تصميم وتطوير نماذج البيانات القائمة على السحابة، وخطوط البيانات، والبنية التحتية.
• خبرة في العمل مع البيانات المنظمة وغير المنظمة.
• إجادة قوية في SQL عبر قواعد البيانات الشائعة.
• خبرة في تحسين عبارات SQL الكبيرة والمعقدة.
• معرفة بأفضل الممارسات لقواعد البيانات العلائقية.
• خبرة في تكوين محركات قواعد البيانات وتنظيم البيئات.
• مهارة في تخطيط متطلبات الموارد من المواصفات العالية.
• قدرة على معالجة المشكلات الشائعة لقواعد البيانات.
• خبرة مع تقنيات Spark وGlue وEMR وApache Kafka أو AWS Kinesis.
• خبرة في أدوات التحكم في النسخ مثل Git أو Subversion.
• تجربة في استخدام أنظمة البناء التلقائي وعمليات CI/CD.
• خبرة في البرمجة بـ Java وPython وScala.
• معرفة بهياكل البيانات والخوارزميات.
• إلمام بقواعد البيانات العلائقية وNoSQL والرسمية والمستندة والقيم الزمنية.
• معرفة بتصميم وإدارة نماذج البيانات القابلة للتوسع.
• معرفة بنشر نماذج التعلم الآلي.
• معرفة بمنصات سحابة AWS.
• معرفة بأساليب TDD وBDD.
• اهتمام قوي بتحسين المهارات والتقنيات الإبداعية في تطوير البرمجيات.

المميزات

فرصة للعمل في نمذجة البيانات، خدمات البيانات، وعلوم البيانات ضمن منصة الذكاء البياني. التعرض لبيئة فنية متنوعة تشمل AWS، وخطوط البيانات، وقواعد البيانات، وتقنيات البحث، وأنظمة التوصية. التعاون المباشر مع فرق علوم البيانات وأصحاب المصلحة الداخليين حول التقارير، التحولات، وقدرات المنصة.

طريقة التقديم

للتقديم على هذه الوظيفة، يرجى زيارة الرابط أدناه:

تقديم الطلب