huggingface-tokenizers
À propos
Cette compétence Claude offre une tokenisation haute performance grâce à des implémentations en Rust capables de traiter 1 Go de texte en moins de 20 secondes. Elle prend en charge des algorithmes populaires comme BPE, WordPiece et Unigram, tout en permettant l'entraînement de vocabulaires personnalisés et le suivi des alignements. Utilisez-la lorsque vous avez besoin d'une tokenisation rapide et prête pour la production, ou souhaitez entraîner des tokeniseurs personnalisés pour vos pipelines de TAL.
Installation rapide
Claude Code
Recommandénpx skills add zechenzhangAGI/AI-research-SKILLs -a claude-code/plugin add https://github.com/zechenzhangAGI/AI-research-SKILLsgit clone https://github.com/zechenzhangAGI/AI-research-SKILLs.git ~/.claude/skills/huggingface-tokenizersCopiez et collez cette commande dans Claude Code pour installer cette compétence
Dépôt GitHub
Frequently asked questions
What is the huggingface-tokenizers skill?
huggingface-tokenizers is a Claude Skill by zechenzhangAGI. Skills package instructions and resources that Claude loads on demand, so Claude can perform huggingface-tokenizers-related tasks without extra prompting.
How do I install huggingface-tokenizers?
Use the install commands on this page: add huggingface-tokenizers to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does huggingface-tokenizers belong to?
huggingface-tokenizers is in the Documents category, tagged word and ai.
Is huggingface-tokenizers free to use?
Yes. huggingface-tokenizers is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Compétences associées
Cette compétence fournit des directives de gestion sémantique de version (semver) et des normes de formatage de journal des modifications pour les publications logicielles. Utilisez-la lors de la préparation des versions pour incrémenter correctement les numéros de version (majeure/mineure/corrective) et structurer les entrées du journal des modifications. Elle inclut des règles pour les identifiants de pré-version et des exemples clairs pour les développeurs.
Cette compétence formate les messages de commit Git selon la norme Conventional Commits. Elle fournit des modèles et des définitions de types (comme `feat`, `fix`, `refactor`) pour garantir la cohérence lors de la rédaction ou de la revue des commits. Utilisez-la pendant le processus de commit pour créer un historique de commits clair et structuré.
Cette compétence offre une tokenisation haute performance en utilisant la bibliothèque basée sur Rust de HuggingFace, traitant 1 Go de texte en moins de 20 secondes. Elle prend en charge les algorithmes BPE, WordPiece et Unigram, tout en permettant l'entraînement de tokeniseurs personnalisés et le suivi des alignements. Utilisez-la lorsque vous avez besoin d'une tokenisation rapide pour la production ou pour créer des tokeniseurs personnalisés intégrés à l'écosystème transformers.
nano-pdf est un outil CLI qui permet aux développeurs de modifier des PDF à l'aide d'instructions en langage naturel, comme changer du texte ou corriger des fautes de frappe sur des pages spécifiques. Il est idéal pour des modifications rapides et programmatiques de PDF directement depuis le terminal. Vérifiez toujours le résultat, car la numérotation des pages peut varier entre les versions.