huggingface-tokenizers
Über
Diese Claude Skill bietet hochperformante Tokenisierung mit Rust-basierten Implementierungen, die 1 GB Text in unter 20 Sekunden verarbeiten können. Sie unterstützt beliebte Algorithmen wie BPE, WordPiece und Unigram und ermöglicht das Training benutzerdefinierter Vokabulare sowie die Verfolgung von Textausrichtungen. Nutzen Sie sie, wenn Sie schnelle, produktionsreife Tokenisierung benötigen oder maßgeschneiderte Tokenizer für NLP-Pipelines trainieren möchten.
Schnellinstallation
Claude Code
Empfohlennpx skills add zechenzhangAGI/AI-research-SKILLs -a claude-code/plugin add https://github.com/zechenzhangAGI/AI-research-SKILLsgit clone https://github.com/zechenzhangAGI/AI-research-SKILLs.git ~/.claude/skills/huggingface-tokenizersKopieren Sie diesen Befehl und fügen Sie ihn in Claude Code ein, um diese Fähigkeit zu installieren
GitHub Repository
Frequently asked questions
What is the huggingface-tokenizers skill?
huggingface-tokenizers is a Claude Skill by zechenzhangAGI. Skills package instructions and resources that Claude loads on demand, so Claude can perform huggingface-tokenizers-related tasks without extra prompting.
How do I install huggingface-tokenizers?
Use the install commands on this page: add huggingface-tokenizers to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does huggingface-tokenizers belong to?
huggingface-tokenizers is in the Documents category, tagged word and ai.
Is huggingface-tokenizers free to use?
Yes. huggingface-tokenizers is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Verwandte Skills
Diese Fähigkeit bietet Richtlinien für semantische Versionierung (semver) und Formatierungsstandards für Changelogs bei Softwareveröffentlichungen. Nutzen Sie sie bei der Vorbereitung von Releases, um Versionsnummern (Major/Minor/Patch) korrekt zu erhöhen und Changelog-Einträge zu strukturieren. Sie enthält Regeln für Pre-Release-Kennzeichnungen und klare Beispiele für Entwickler.
Diese Fähigkeit formatiert Git-Commit-Nachrichten gemäß dem Conventional Commits-Standard. Sie stellt Vorlagen und Typdefinitionen (wie `feat`, `fix`, `refactor`) bereit, um Konsistenz beim Schreiben oder Überprüfen von Commits zu gewährleisten. Verwenden Sie sie während des Commit-Prozesses, um eine klare, strukturierte Commit-Historie zu erstellen.
Diese Fähigkeit bietet eine leistungsstarke Tokenisierung mit HuggingFace's Rust-basierter Bibliothek und verarbeitet 1 GB Text in unter 20 Sekunden. Sie unterstützt BPE-, WordPiece- und Unigram-Algorithmen und ermöglicht das Training benutzerdefinierter Tokenizer sowie die Verfolgung von Ausrichtungen. Nutzen Sie sie, wenn Sie produktionsreife, schnelle Tokenisierung benötigen oder benutzerdefinierte Tokenizer erstellen möchten, die in das Transformers-Ökosystem integriert sind.
nano-pdf ist ein CLI-Tool, das Entwicklern ermöglicht, PDFs mit natürlichen Sprachbefehlen zu bearbeiten, wie etwa Text zu ändern oder Tippfehler auf bestimmten Seiten zu korrigieren. Es ist ideal für schnelle, programmatische PDF-Modifikationen direkt vom Terminal aus. Überprüfen Sie stets die Ausgabe, da die Seitennummerierung zwischen Versionen variieren kann.