document-rag-pipeline-execution-checklist

Cette compétence de Claude offre des conseils d'expert sur la mise en œuvre d'une architecture Data Mesh pour des systèmes de données décentralisés et évolutifs. Elle aide les développeurs à concevoir une gouvernance des données orientée domaine, à créer des produits de données et à établir une gouvernance fédérée avec des plateformes en libre-service. Utilisez cette compétence lors de la planification ou de la refonte d'infrastructures de données à grande échelle pour les aligner sur les domaines organisationnels.

Cette Compétence Claude offre une orchestration experte d'Apache Airflow pour concevoir et gérer des pipelines de données complexes. Elle fournit une connaissance approfondie des DAGs, opérateurs, capteurs, XComs, dépendances de tâches et planifications pour créer des workflows fiables. Utilisez-la lors du développement, du dépannage ou de l'optimisation de déploiements Airflow en production.

Cette compétence de Claude fournit des conseils de niveau expert pour l'orchestration de flux de travail avec Apache Airflow, incluant la conception de DAG, les opérateurs, les capteurs et les dépendances entre tâches. Utilisez-la lors de la construction ou du dépannage de pipelines de données complexes pour mettre en œuvre des modèles fiables de planification et d'exécution. Elle couvre les opérations en production, les XComs et la génération dynamique de tâches pour une gestion évolutive des flux de travail.

Cette compétence de Claude fournit une assistance experte sur la plateforme Databricks pour concevoir et mettre en œuvre des pipelines de données évolutifs et des workflows de machine learning. Elle offre une connaissance approfondie d'Apache Spark, Delta Lake, MLflow, des notebooks et de la gestion des clusters pour l'architecture lakehouse. Utilisez cette compétence lorsque vous travaillez avec le SDK Databricks, PySpark, et que vous concevez des solutions de data engineering ou de ML sur la plateforme Databricks.