Data Engineering
Data Engineering — Expert
Maîtrisez le big data avec Spark, Databricks et le streaming à grande échelle.
Vous traitez de gros volumes avec Spark et Databricks, mettez en place du streaming et structurez un data lake gouverné. La formation prépare à la certification Azure DP-203 via une plateforme data complète.
Objectifs
- Traiter de gros volumes avec Spark et Databricks
- Mettre en place des traitements en streaming
- Structurer un data lake fiable et gouverné
- Préparer la certification Azure DP-203
Programme
Spark et Databricks
- Traitement distribué et optimisation
- Notebooks et jobs Databricks
- Delta Lake et fiabilité des tables
Streaming et data lake
- Ingestion temps réel
- Architecture en couches du data lake
- Partitionnement et formats colonne
Qualité, gouvernance et DP-203
- Contrôles qualité et tests de données
- Catalogue, lignage et sécurité
- Révisions et examen blanc DP-203
Prérequis
Expérience des pipelines de données et de Python.