Cette page à pour but de centraliser le projet de création d’un Datalake dans Azure Synapse Analytique. Nous retrouverons ici l’ensemble des articles liés à celui-ci et un ordonnancement logique pour suivre celui-ci.
Cette page est (et sera) en constante évolution pour refléter l’avancement du projet via les différents articles publiés ici. N’hésitez pas à y revenir pour voir les nouveaux articles.
Définitions
Définition de notre projet : Un Data Lakehouse fonctionnel avec Azure Synapse Analytics – NiceData
Mise en place de la plateforme
Création des ressources
L’environnement de travail : Création de l’environnement de travail : Azure Synapse Analytics – Workspace
Le stockage (le lake) : Création des ressources de stockage : Azure Synapse Analytics – Azure Blob Storage – NiceData
Gestion des développements
Versionning du code source : git + synapse, gestion de version et de code source – NiceData
Mise en œuvre du Datalake
Ingestion des données : Paramétrer les Pipeline Azure Synapse Analytics sans ouvrir Synapse ! – NiceData
Créer un dataset partitionné en fichier parquets : Générer un dataset partitionné via un data flow Azure Synapse Analytics – NiceData