Toptal: Senior Data Engineer – AWS Data Lake & Pipeline Architecture

نبذة عن الدور الوظيفي والشركة

نحن نبحث عن مهندس بيانات للانضمام إلى فريق تطوير منصة ذكاء البيانات. يركز هذا الدور على نمذجة البيانات، وخدمات البيانات، وأنظمة خطوط البيانات، والبنية التحتية السحابية للبيانات لأغراض التقارير والتحليلات وعلوم البيانات.

المسؤوليات والمهام الوظيفية الرئيسية

• المشاركة في تصميم وتنفيذ حلول بيانات عالية الأداء وقابلة للتوسع والجودة.
• إنشاء نماذج بيانات من الصفر باستخدام أساسيات SQL القوية.
• كتابة وتحسين عبارات SQL داخل التطبيقات.
• ضمان أداء وأمان وتوافر قواعد البيانات.
• إعداد الوثائق والمواصفات الفنية.
• التعامل مع إجراءات قواعد البيانات مثل التحديثات، النسخ الاحتياطي، الاستعادة، والهجرة.
• تقييم استخدام موارد الخادم وتحسين التكوينات حسب الحاجة.
• تصميم وبناء وأتمتة نشر خطوط البيانات والتطبيقات.
• دمج البيانات من قواعد البيانات المحلية ومصادر البيانات الخارجية باستخدام واجهات برمجة التطبيقات وأدوات الحصاد.
• التعاون مع وحدات الأعمال وفرق علوم البيانات حول الاحتياجات المتعلقة بالوصول إلى البيانات والتحويل والمعالجة والتقارير.
• دعم التنفيذ والقضايا الفنية والتدريب المتعلق بنظام بحيرة البيانات.
• العمل مع الفريق لإدارة موارد AWS، بما في ذلك مجموعات EMR وECS.
• دعم تجهيز ورصد وتكوين وصيانة أدوات AWS.
• تقييم وتعزيز تقنيات السحابة الجديدة التي تحسن القدرات وتقلل من تكاليف التشغيل.
• دعم جهود الأتمتة باستخدام البنية التحتية كرمز مع Terraform وأدوات CI/CD مثل Jenkins.
• العمل مع الفريق لتنفيذ حوكمة البيانات، التحكم في الوصول، وتقليل مخاطر الأمان.

الشروط والمؤهلات والخبرات المطلوبة

• 7-9 سنوات من الخبرة في تصميم وتطوير نماذج بيانات سحابية، خطوط ETL، وبنية تحتية.
• خبرة في العمل مع البيانات الهيكلية وغير الهيكلية.
• إجادة قوية في SQL عبر قواعد البيانات الشائعة.
• خبرة في تحسين عبارات SQL الكبيرة والمعقدة.
• معرفة بأفضل الممارسات لقواعد البيانات العلائقية.
• خبرة في تكوين محركات قواعد البيانات وتنظيم المجموعات.
• القدرة على تخطيط احتياجات الموارد بناءً على المواصفات العُليا.
• القدرة على استكشاف المشكلات الشائعة لقواعد البيانات وإصلاحها.
• خبرة في Spark، Glue، EMR، وApache Kafka أو AWS Kinesis.
• خبرة في أدوات التحكم في الإصدارات مثل Git أو Subversion.
• خبرة في استخدام أنظمة البناء الآلي وعمليات CI/CD.
• خبرة في البرمجة بلغة Java، Python، وScala.
• معرفة بهيكليات البيانات والخوارزميات.
• معرفة بقواعد البيانات العلائقية وNoSQL، الرسم البياني، المستندات، القيم-المفتاحية، وقواعد بيانات الوقت-التسلسلي.
• معرفة بتصميم وإدارة نماذج البيانات القابلة للتوسع.
• معرفة بنشر نماذج التعلم الآلي.
• معرفة بمنصات السحابة من AWS.
• معرفة بممارسات تطوير البرامج.
• اهتمام قوي بتحسين مهارات تطوير البرمجيات والإطارات والتقنيات.

المزايا

• فرصة للعمل في مجالات نمذجة البيانات، خدمات البيانات، وعلوم البيانات ضمن منصة ذكاء البيانات الأوسع.
• تعرض لبيئة تقنية متنوعة تشمل AWS، خطوط ETL، قواعد البيانات، تقنيات البحث، وأنظمة التوصية.
• التعاون المباشر مع فرق علوم البيانات وأصحاب المصلحة الداخليين حول التقارير، والتحويل، وقدرات المنصة.