À propos
Cette compétence aide les développeurs à optimiser les performances des tâches Apache Spark en fournissant des conseils sur le partitionnement, la mise en cache, l'optimisation du shuffle et le réglage de la mémoire. Utilisez-la pour déboguer des tâches lentes, mettre à l'échelle des pipelines de données ou ajuster les configurations d'exécuteurs pour de grands ensembles de données. Elle couvre les concepts d'exécution fondamentaux et des modèles actionnables pour les environnements de production.
Installation rapide
Claude Code
Recommandénpx skills add ma1orek/replay -a claude-code/plugin add https://github.com/ma1orek/replaygit clone https://github.com/ma1orek/replay.git ~/.claude/skills/spark-optimizationCopiez et collez cette commande dans Claude Code pour installer cette compétence
Dépôt GitHub
Frequently asked questions
What is the spark-optimization skill?
spark-optimization is a Claude Skill by ma1orek. Skills package instructions and resources that Claude loads on demand, so Claude can perform spark-optimization-related tasks without extra prompting.
How do I install spark-optimization?
Use the install commands on this page: add spark-optimization to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does spark-optimization belong to?
spark-optimization is in the Testing category, tagged data.
Is spark-optimization free to use?
Yes. spark-optimization is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Compétences associées
Cette compétence Claude exécute le lm-evaluation-harness pour évaluer les modèles de langage sur plus de 60 tâches académiques standardisées telles que MMLU et GSM8K. Elle est conçue pour permettre aux développeurs de comparer la qualité des modèles, de suivre les progrès de l'entraînement ou de rapporter des résultats académiques. L'outil prend en charge différents backends, incluant les modèles HuggingFace et vLLM.
Cette compétence fournit une connaissance complète pour la mise en œuvre de Déclencheurs Cron Cloudflare afin de planifier des Workers à l'aide d'expressions cron. Elle couvre la configuration de tâches périodiques, de travaux de maintenance et de flux de travail automatisés, tout en traitant des problèmes courants tels que les expressions cron non valides et les problèmes de fuseau horaire. Les développeurs peuvent l'utiliser pour configurer des gestionnaires planifiés, tester des déclencheurs cron et intégrer avec Workflows et Green Compute.
Cette Compétence Claude fournit une boîte à outils basée sur Playwright pour tester des applications web locales via des scripts Python. Elle permet la vérification frontend, le débogage d'interface utilisateur, la capture d'écrans et la consultation des journaux, tout en gérant les cycles de vie du serveur. Utilisez-la pour les tâches d'automatisation de navigateur, mais exécutez les scripts directement plutôt que de lire leur code source pour éviter la pollution du contexte.
Cette compétence aide les développeurs à finaliser leur travail en vérifiant que les tests passent, puis en présentant des options d'intégration structurées. Elle guide le processus de fusion, de création de PRs ou de nettoyage des branches une fois l'implémentation terminée. Utilisez-la lorsque votre code est prêt et testé pour finaliser systématiquement le cycle de développement.
