Data Engineer (Spark)
Posted Updated
Description
Do zespołu Data Platform poszukujemy doświadczonego Data Engineer ( Spark), który będzie odpowiedzialny za projektowanie, rozwój i optymalizację rozwiązań do rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, oraz ich synchronizację z systemami źródłowymi w branży bankowej.
Osoba na tym stanowisku będzie również rozwijać i utrzymywać architekturę Data Lakehouse, obejmującą przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (bronze, silver, gold), z wykorzystaniem Apache Spark oraz Apache Iceberg. Praca zdalna.
- Minimum 5 lata praktycznego doświadczenia jak Data Engineer lub Big Data
- Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.
- Doświadczenie w odczycie i zapisie danych w MongoDB z wykorzystaniem MongoDB Spark Connector.
- Praktyczne doświadczenie z Apache Iceberg, w szczególności w zakresie zarządzania tabelami, wersjonowania danych oraz operacji upsert/merge.
- Bardzo dobra znajomość języka Python i SQL.
- Doświadczenie w budowaniu i utrzymywaniu procesów CI/CD z wykorzystaniem Jenkins.
- Znajomość testowania aplikacji Spark, w tym testów jednostkowych i integracyjnych.
- Doświadczenie w monitorowaniu procesów danych z wykorzystaniem Prometheus i Grafana.
- Znajomość metodyk Scrum lub Kanban oraz narzędzi Jira i Confluence.
Dodatkowym atutem będzie
- Doświadczenie w pracy z Delta Lake lub Apache Hudi.
- Znajomość Kubernetes, Dockera i Spark Operator.
- Doświadczenie w implementacji rozwiązań observability z wykorzystaniem OpenTelemetry lub Dynatrace.
- Znajomość zagadnień data quality, data lineage oraz definiowania SLA/SLO dla procesów danych.
- Doświadczenie w optymalizacji kosztów i wydajności przetwarzania dużych wolumenów danych.