data-lake-architecture

Cette compétence conçoit des modèles dimensionnels et des tables de faits pour les projets d'entrepôt de données. Elle clarifie les exigences, examine les contraintes du système et sélectionne les modèles architecturaux appropriés. Les livrables incluent des plans de mise en œuvre, des spécifications et des étapes de validation pour les développeurs.

La compétence data-catalog-creator aide les développeurs à concevoir et planifier des systèmes pour gérer les métadonnées, la traçabilité des données et la découverte. Elle génère des plans d'implémentation, des spécifications architecturales et les artefacts nécessaires en fonction de votre pile technologique et de vos contraintes. Utilisez cette compétence lorsque vous avez besoin d'établir ou d'améliorer la gouvernance des données, la conformité et la découvrabilité au sein de votre infrastructure.

La compétence data-pipeline-builder conçoit et planifie des pipelines d'orchestration en mettant l'accent sur l'idempotence. Elle est utilisée lorsque vous devez créer des flux de travail de données, produisant des artefacts tels que des spécifications, des configurations et des étapes de validation. Les développeurs doivent l'utiliser après avoir confirmé les exigences et obtenu les approbations nécessaires.

Cette compétence aide les développeurs à mettre en œuvre des contrôles de qualité des données via la validation, le profilage et la détection d'anomalies. Utilisez-la lorsque vous devez concevoir ou planifier un système de qualité des données au sein d'une architecture et d'une pile technologique données. Elle vous guide de la clarification des exigences à la production des artefacts d'implémentation et des critères d'acceptation.