Coopers Group AG · Bern
................
Für unseren Kunden in Bern, suchen wir eine:n motivierte:n und aufgeschlossene:n Senior Data Engineer– Snowflake & Iceberg.
Ziel des Projekts ist der Aufbau einer vollständigen, zuverlässigen und produktionsfähigen CDC-Lösung zur Synchronisation von TigerData nach Snowflake auf Basis von Apache Iceberg.
Die Lösung soll hinsichtlich Zuverlässigkeit, Transparenz und Betriebsfähigkeit einen vergleichbaren Standard wie die bestehenden CDC-Prozesse mit Fivetran HVR erreichen,
Deine Aufgaben:
Analyse und Bewertung des von TigerData bereitgestellten CDC-Ansatzes auf Basis von Apache Iceberg Definition und Konzeption einer geeigneten Zielarchitektur für die kontinuierliche Synchronisation von TigerData nach Snowflake Konfiguration und Optimierung von Snowflake für die Verarbeitung der über Apache Iceberg bereitgestellten Daten Konzeption und Implementierung der erforderlichen Iceberg-Komponenten und Datenstrukturen Sicherstellung einer zuverlässigen Verarbeitung von Inserts, Updates und Deletes Berücksichtigung von Schema Evolution, Datenkonsistenz, Datenlatenz, Recovery und Reconciliation Aufbau von Monitoring-, Logging- und Fehlerbehandlungsmechanismen für einen stabilen Produktionsbetrieb Technische Abstimmung mit TigerData und bei Bedarf direkt mit Snowflake Unterstützung bei der Implementierung, Validierung und Produktivsetzung der End-to-End-Lösung Dokumentation der technischen Architektur sowie Wissenstransfer an das interne Team
Dein Profil:
Mehrjährige praktische Erfahrung in der Konzeption und Umsetzung von Datenintegrations- und Replikationslösungen Sehr gute Kenntnisse und praktische Projekterfahrung mit Snowflake Nachweisbare Projekterfahrung mit Apache Iceberg Fundiertes Verständnis von Change Data Capture (CDC), Datenreplikation und Streaming- bzw. Synchronisationsverfahren Erfahrung im Aufbau und Betrieb produktionsfähiger CDC- und Datenintegrationsplattformen Kenntnisse in den Bereichen Schema Evolution, Datenkonsistenz, Recovery, Reconciliation,…
Sign in to see the original posting
Browse more developer jobs on RoleBurst