24/09/2021

Senior Data Engineer (m/w/d)

Beschreibung des Jobangebots / Job Description

  • Erstellung einer Anforderungsanalyse an die zukünftige ETL-Prozesse hinsichtlich skalierbarer Daten Pipelines (Aufnahme von Daten von der Quelle bis hin zur Verfügbarkeit der Daten im Frontend); Entwicklung und Wartung skalierbarer Datenpipelines mit ADF hinsichtlich der zuvor erstellten Anforderungsanalyse und Aufbau neuer Einbindungen, um die kontinuierliche Zunahme von Datenvolumen und Komplexität zu unterstützen
  • Aufbau von Prozessen zur Unterstützung von Datentransformation, Datenstrukturen, Metadaten, Abhängigkeits- und Workload-Management in enger Zusammenarbeit mit einem Team aus Frontend, Data Scientists, BI-Manager und PO sowie Entwurf von Datenintegrationen und Datenqualitäts-Frameworks
  • Zusammenarbeit mit Analytik- und Geschäftsteams zur Verbesserung von Datenmodellen, welche in Business Intelligence-Tools einfließen, um die Datenverfügbarkeit zu erhöhen und die datengestützte Entscheidungsfindung in der gesamten Organisation zu fördern
  • Implementierung von Prozessen und Systemen zur Überwachung der Datenqualität um sicherzustellen, dass die Produktionsdaten immer korrekt für die davon abhängigen Key Stakeholder und Geschäftsprozesse sind; Entwicklung eines Data Katalog unter Verwendung vorhandener Metadaten zur Erstellung einer Übersicht über alle Datenquellen und ETL-Prozesse
  • Aufbau einer Layerarchitektur (Staging, Core, Presentation) hinsichtlich der Datenverarbeitung und -bereitstellung und Erstellung einer ausführlichen technischen Dokumentation

Jetzt bewerben