huggingface-tokenizers
À propos
Cette compétence offre une tokenisation haute performance en utilisant la bibliothèque basée sur Rust de HuggingFace, traitant 1 Go de texte en moins de 20 secondes. Elle prend en charge les algorithmes BPE, WordPiece et Unigram, tout en permettant l'entraînement de tokeniseurs personnalisés et le suivi des alignements. Utilisez-la lorsque vous avez besoin d'une tokenisation rapide pour la production ou pour créer des tokeniseurs personnalisés intégrés à l'écosystème transformers.
Installation rapide
Claude Code
Recommandénpx skills add davila7/claude-code-templates -a claude-code/plugin add https://github.com/davila7/claude-code-templatesgit clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/huggingface-tokenizersCopiez et collez cette commande dans Claude Code pour installer cette compétence
Dépôt GitHub
Frequently asked questions
What is the huggingface-tokenizers skill?
huggingface-tokenizers is a Claude Skill by davila7. Skills package instructions and resources that Claude loads on demand, so Claude can perform huggingface-tokenizers-related tasks without extra prompting.
How do I install huggingface-tokenizers?
Use the install commands on this page: add huggingface-tokenizers to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does huggingface-tokenizers belong to?
huggingface-tokenizers is in the Documents category, tagged Tokenization, HuggingFace, BPE, WordPiece, Unigram and Fast Tokenization.
Is huggingface-tokenizers free to use?
Yes. huggingface-tokenizers is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Compétences associées
Cette compétence fournit des directives de gestion sémantique de version (semver) et des normes de formatage de journal des modifications pour les publications logicielles. Utilisez-la lors de la préparation des versions pour incrémenter correctement les numéros de version (majeure/mineure/corrective) et structurer les entrées du journal des modifications. Elle inclut des règles pour les identifiants de pré-version et des exemples clairs pour les développeurs.
Cette compétence formate les messages de commit Git selon la norme Conventional Commits. Elle fournit des modèles et des définitions de types (comme `feat`, `fix`, `refactor`) pour garantir la cohérence lors de la rédaction ou de la revue des commits. Utilisez-la pendant le processus de commit pour créer un historique de commits clair et structuré.
nano-pdf est un outil CLI qui permet aux développeurs de modifier des PDF à l'aide d'instructions en langage naturel, comme changer du texte ou corriger des fautes de frappe sur des pages spécifiques. Il est idéal pour des modifications rapides et programmatiques de PDF directement depuis le terminal. Vérifiez toujours le résultat, car la numérotation des pages peut varier entre les versions.
Cet outil CLI résume les URL web, les fichiers locaux (y compris PDF, images, audio) et les liens YouTube en utilisant divers modèles d'IA. Les développeurs peuvent l'utiliser pour une extraction rapide de contenu en configurant les clés API des fournisseurs et en ajustant la longueur de sortie. Il utilise par défaut le modèle Gemini de Google et s'installe via Homebrew.