data-lake-architecture

Этот навык проектирует многомерные модели и таблицы фактов для проектов хранилищ данных. Он проясняет требования, анализирует системные ограничения и выбирает подходящие архитектурные шаблоны. Результаты включают планы реализации, спецификации и шаги валидации для разработчиков.

Навык data-catalog-creator помогает разработчикам проектировать и планировать системы для управления метаданными, отслеживания происхождения данных и их обнаружения. Он генерирует планы реализации, архитектурные спецификации и необходимые артефакты с учётом вашего технологического стека и ограничений. Используйте этот навык, когда вам необходимо внедрить или улучшить управление данными, соответствие требованиям и возможности обнаружения данных в вашей инфраструктуре.

Навык data-pipeline-builder проектирует и планирует оркестрационные конвейеры с акцентом на идемпотентность. Он используется, когда требуется создавать рабочие процессы обработки данных, формируя такие артефакты, как спецификации, конфигурации и шаги валидации. Разработчикам следует применять его после подтверждения требований и получения необходимых согласований.

Этот навык помогает разработчикам внедрять проверки качества данных через валидацию, профилирование и обнаружение аномалий. Используйте его, когда вам необходимо спроектировать или спланировать систему контроля качества данных в рамках заданной архитектуры и технологического стека. Он проведёт вас от уточнения требований до создания артефактов реализации и критериев приемки.