huggingface-tokenizers
Über
Diese Fähigkeit bietet eine leistungsstarke Tokenisierung mit HuggingFace's Rust-basierter Bibliothek und verarbeitet 1 GB Text in unter 20 Sekunden. Sie unterstützt BPE-, WordPiece- und Unigram-Algorithmen und ermöglicht das Training benutzerdefinierter Tokenizer sowie die Verfolgung von Ausrichtungen. Nutzen Sie sie, wenn Sie produktionsreife, schnelle Tokenisierung benötigen oder benutzerdefinierte Tokenizer erstellen möchten, die in das Transformers-Ökosystem integriert sind.
Schnellinstallation
Claude Code
Empfohlennpx skills add davila7/claude-code-templates -a claude-code/plugin add https://github.com/davila7/claude-code-templatesgit clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/huggingface-tokenizersKopieren Sie diesen Befehl und fügen Sie ihn in Claude Code ein, um diese Fähigkeit zu installieren
GitHub Repository
Frequently asked questions
What is the huggingface-tokenizers skill?
huggingface-tokenizers is a Claude Skill by davila7. Skills package instructions and resources that Claude loads on demand, so Claude can perform huggingface-tokenizers-related tasks without extra prompting.
How do I install huggingface-tokenizers?
Use the install commands on this page: add huggingface-tokenizers to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does huggingface-tokenizers belong to?
huggingface-tokenizers is in the Documents category, tagged Tokenization, HuggingFace, BPE, WordPiece, Unigram and Fast Tokenization.
Is huggingface-tokenizers free to use?
Yes. huggingface-tokenizers is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Verwandte Skills
Diese Fähigkeit bietet Richtlinien für semantische Versionierung (semver) und Formatierungsstandards für Changelogs bei Softwareveröffentlichungen. Nutzen Sie sie bei der Vorbereitung von Releases, um Versionsnummern (Major/Minor/Patch) korrekt zu erhöhen und Changelog-Einträge zu strukturieren. Sie enthält Regeln für Pre-Release-Kennzeichnungen und klare Beispiele für Entwickler.
Diese Fähigkeit formatiert Git-Commit-Nachrichten gemäß dem Conventional Commits-Standard. Sie stellt Vorlagen und Typdefinitionen (wie `feat`, `fix`, `refactor`) bereit, um Konsistenz beim Schreiben oder Überprüfen von Commits zu gewährleisten. Verwenden Sie sie während des Commit-Prozesses, um eine klare, strukturierte Commit-Historie zu erstellen.
nano-pdf ist ein CLI-Tool, das Entwicklern ermöglicht, PDFs mit natürlichen Sprachbefehlen zu bearbeiten, wie etwa Text zu ändern oder Tippfehler auf bestimmten Seiten zu korrigieren. Es ist ideal für schnelle, programmatische PDF-Modifikationen direkt vom Terminal aus. Überprüfen Sie stets die Ausgabe, da die Seitennummerierung zwischen Versionen variieren kann.
Dieses CLI-Tool fasst Web-URLs, lokale Dateien (einschließlich PDFs, Bilder, Audio) und YouTube-Links mithilfe verschiedener KI-Modelle zusammen. Entwickler können es zur schnellen Inhaltsgewinnung nutzen, indem sie API-Schlüssel der Anbieter festlegen und die Ausgabelänge anpassen. Es verwendet standardmäßig Googles Gemini-Modell und wird über Homebrew installiert.