Data Engineer Java / Scala Expérimenté – Data Platform
Description
Vous aurez comme objectif de concevoir, développer et maintenir des pipelines de données complexes et robustes sur Google Cloud Platform, selon les principes d’ingénierie de données modernes, afin d’assurer la collecte, le traitement et l’analyse des données pour les différents services de Carrefour. La mission intègre également la conception de solutions d’IA générative et la mise en place d’agents IA intégrés aux flux de données.
Vous serez en charge de :
- Conception, développement et maintenance de pipelines de données batch et temps réel sur GCP
- Traitement de gros volumes de données avec Spark, Kafka, Pub/Sub, BigQuery et DBT
- Conception et développement de solutions d’IA générative et d’agents IA intégrés aux flux de données
- Automatisation des workflows data via GitLab CI/CD et Docker Compose
Diplômé(e) d’un Bac+5 en école d'ingénieur ou équivalent universitaire avec une spécialisation en informatique, ou justifiant d'une expérience significative équivalente
Expérience : 3 à 7 ans d’expérience en Data Engineering Java / Scala
Une expérience en grande distribution est un plus.
Compétences techniques :
- Développement Scala et/ou Java, avec une compréhension approfondie de la programmation fonctionnelle
- Streaming de données avec Apache Kafka et traitement distribué avec Apache Spark
- Expérience significative Data et Cloud, notamment sur Google Cloud Platform (GCP)
- Très bonne maîtrise de BigQuery et du SQL avancé sur de gros volumes de données
- Connaissance approfondie de DBT pour la gestion et l’orchestration des pipelines
- Pub/Sub pour la gestion de flux de données en temps réel
- CI/CD avec GitLab CI/CD et Docker Compose
- Environnement Linux et outils en ligne de commande
- Gestion de version avec Git
- IA générative et agents IA appliqués aux flux de données
- Méthodologie agile (Scrum) en équipe pluridisciplinaire
Savoir-être :
- Communication claire et efficace en français, à l’écrit comme à l’oral, avec le métier et les équipes
- Capacité d’analyse et force de proposition, identification des axes d’amélioration
- Respect des délais avec un haut niveau d’exigence qualité
- Esprit d’équipe, partage de connaissances et démarche d’amélioration continue
Vous êtes rigoureux, créatif, curieux et vous aimez travailler en équipe et monter en compétence dans un environnement dynamique, les métiers du service vous animent et vous souhaitez évoluer dans un environnement convivial, rejoignez-nous !
Au plaisir de vous lire!
