Data Engineer

Про роль та команду
Ми шукаємо Senior Data Engineer у команду OTP Digital — інженерну команду, яка створила мобільний застосунок банку з нуля. Твоєю місією буде перетворення сирих продуктових даних (подій застосунку, транзакцій, станів клієнтів) на надійну основу для бізнес-рішень. Працюючи з продуктовими командами, Product Data Analysts і платформою даних на Azure, ти визначатимеш доставку даних для банку та будуватимеш наскрізний Data delivery lifecycle — від контрактів даних до перевірених датасетів.

Твоє поле дій:
Проєктувати та впроваджувати наскрізний процес Data delivery lifecycle від запиту аналітика до готового датасету — з чіткими етапами, ролями та SLA.
Домовлятися з продуктовими командами про контракти даних (схеми подій, семантику полів, версіонування) та стежити за їх дотриманням, виступаючи єдиною точкою входу для команд.
Будувати та підтримувати три шари даних у Azure Data Lake Gen2 / Microsoft Fabric: Bronze (сирі дані з повною історією), Silver (очищені, дедупліковані й типізовані дані з уніфікованими ключами) та Gold (доменні вітрини для аналітиків і BI).
Проєктувати моделі даних для Silver і Gold разом із Product Analysts, орієнтуючись на реальні бізнес-питання.
Розвивати пайплайни у Microsoft Fabric (Data Factory pipelines, Dataflows, notebooks / Spark) та оптимізувати їхню вартість і швидкість виконання.
Запроваджувати автоматичні перевірки якості даних на кожному шарі (повнота, унікальність ключів, свіжість, узгодженість, дрейф схем), налаштовувати моніторинг та алерти.
Вести каталог і lineage датасетів, збирати потреби аналітиків у беклог та робити дані самообслуговуваними через документацію, зрозумілі назви й приклади запитів.

Навички, які тобі знадобляться:
Досвід від 5 років на позиції Data Engineer у продакшн-середовищі.
Практичний досвід роботи з Azure Data Lake Storage Gen2 або Microsoft Fabric (Lakehouse, OneLake, Data Factory pipelines, notebooks).
Впевнене володіння SQL та Python для написання трансформацій кодом.
Досвід побудови шарової архітектури даних (medallion / lakehouse) та глибоке розуміння призначення кожного з шарів.
Експертиза в data modeling: dimensional modeling (Star, Snowflake), робота зі SCD та проєктування вітрин під аналітичні запити.
Практика впровадження data quality: написання тестів на дані, моніторинг свіжості й повноти, менеджмент інцидентів із даними.
Розуміння форматів і підходів: Parquet / Delta, партиціонування, інкрементальне завантаження, CDC.
Розвинені комунікативні навички: вміння домовлятися з інженерними командами про контракти даних і пояснювати аналітикам структуру таблиць.
Вільна українська мова для щоденної роботи та англійська на рівні Upper-Intermediate для спілкування з колегами з OTP Group.

Що додасть магії:
Досвід роботи з Google BigQuery.
Знання Apache Kafka або event streaming для приймання подій у Bronze-шар у near-real-time.
Розуміння BI Studio чи Power BI у зв'язці з Microsoft Fabric та особливостей споживання аналітиками Gold-шару.
Досвід у банківській сфері чи фінтеху: робота з транзакційними даними, дотримання вимог регулятора щодо зберігання, доступу та PII.
Практика використання dbt або інших інструментів трансформацій із тестами та lineage, знання IaC (Terraform / Bicep) і CI/CD для пайплайнів даних.
Досвід співпраці в середовищі LeSS / Scrum із кількома продуктовими командами.

Як ми піклуємось:
Віддалений формат роботи з можливістю працювати з офісу в Києві.
Гнучкий графік роботи.
Близьку співпрацю зі стейкхолдерами, продуктовими та development-командами.
Низький рівень бюрократії та Agile-підхід до роботи.
Підтримку head-office та technology team.
Конкурентну компенсацію з прив’язкою до USD за курсом НБУ.
Довгострокову співпрацю, оплачувану відпустку та лікарняні.