huggingface-tokenizers
Acerca de
Esta habilidad proporciona tokenización de alto rendimiento utilizando la biblioteca basada en Rust de HuggingFace, procesando 1GB de texto en menos de 20 segundos. Soporta algoritmos BPE, WordPiece y Unigram, además de permitir el entrenamiento de tokenizadores personalizados y el seguimiento de alineaciones. Úsela cuando necesite tokenización rápida para producción o para construir tokenizadores personalizados integrados en el ecosistema de transformers.
Instalación rápida
Claude Code
Recomendadonpx skills add davila7/claude-code-templates -a claude-code/plugin add https://github.com/davila7/claude-code-templatesgit clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/huggingface-tokenizersCopia y pega este comando en Claude Code para instalar esta habilidad
Repositorio GitHub
Frequently asked questions
What is the huggingface-tokenizers skill?
huggingface-tokenizers is a Claude Skill by davila7. Skills package instructions and resources that Claude loads on demand, so Claude can perform huggingface-tokenizers-related tasks without extra prompting.
How do I install huggingface-tokenizers?
Use the install commands on this page: add huggingface-tokenizers to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does huggingface-tokenizers belong to?
huggingface-tokenizers is in the Documents category, tagged Tokenization, HuggingFace, BPE, WordPiece, Unigram and Fast Tokenization.
Is huggingface-tokenizers free to use?
Yes. huggingface-tokenizers is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Habilidades relacionadas
Esta habilidad proporciona pautas de versionado semántico (semver) y estándares de formato para el changelog en lanzamientos de software. Úsela al preparar lanzamientos para incrementar correctamente los números de versión (principal/secundario/parche) y estructurar las entradas del changelog. Incluye reglas para identificadores de pre-lanzamiento y ejemplos claros para desarrolladores.
Esta habilidad formatea los mensajes de commit de Git según el estándar Conventional Commits. Proporciona plantillas y definiciones de tipos (como `feat`, `fix`, `refactor`) para garantizar consistencia al escribir o revisar commits. Úsala durante el proceso de commit para crear un historial de commits claro y estructurado.
nano-pdf es una herramienta CLI que permite a los desarrolladores editar PDFs usando instrucciones en lenguaje natural, como cambiar texto o corregir errores tipográficos en páginas específicas. Es ideal para modificaciones rápidas y programáticas de PDFs directamente desde la terminal. Siempre verifica la salida, ya que la numeración de páginas puede variar entre versiones.
Esta herramienta CLI resume URLs web, archivos locales (incluyendo PDFs, imágenes, audio) y enlaces de YouTube utilizando varios modelos de IA. Los desarrolladores pueden usarla para extracción rápida de contenido configurando claves API de proveedores y ajustando la longitud de la salida. Por defecto utiliza el modelo Gemini de Google y se instala mediante Homebrew.