ClustorClustor Jobs

Offres d'emploi Data engineer

Le data engineer construit les pipelines qui collectent, transforment et mettent à disposition les données.

Le data engineer travaille dans les entreprises qui exploitent beaucoup de données : banque, e-commerce, télécoms, industrie, éditeurs et ESN. Il collabore avec les data analysts, les data scientists et les équipes applicatives. Il bâtit l'infrastructure qui achemine les données depuis leurs sources jusqu'aux endroits où elles sont analysées, en garantissant leur fiabilité.

955 offres

Fiche métier Data engineer

Missions

  • Concevoir et développer les pipelines d'ingestion et de transformation des données
  • Alimenter les entrepôts et les lacs de données utilisés par les analystes
  • Orchestrer les traitements planifiés et surveiller leur bon déroulement
  • Contrôler la qualité des données et corriger les anomalies à la source
  • Optimiser les performances et les coûts des plateformes de données

Compétences

  • Python
  • SQL
  • Spark
  • Airflow
  • Entrepôts de données
  • Cloud
  • Modélisation de données
  • Rigueur

Formation

Le diplôme d'ingénieur, le master en informatique ou en data science mènent au poste. Une licence professionnelle ou un BUT peut suffire avec de l'expérience, et la reconversion se fait souvent depuis le développement ou l'administration de bases.

Évolution

Le data engineer évolue vers un poste de lead data engineer, d'architecte de données ou de responsable de plateforme data. Il peut aussi se spécialiser en machine learning.