huggingface-tokenizers
Acerca de
Esta habilidad de Claude proporciona tokenización de alto rendimiento utilizando implementaciones basadas en Rust que pueden procesar 1GB de texto en menos de 20 segundos. Soporta algoritmos populares como BPE, WordPiece y Unigram, además de permitir el entrenamiento de vocabularios personalizados y el seguimiento de alineaciones. Úsela cuando necesite tokenización rápida lista para producción o desee entrenar tokenizadores personalizados para pipelines de PLN.
Instalación rápida
Claude Code
Recomendadonpx skills add zechenzhangAGI/AI-research-SKILLs -a claude-code/plugin add https://github.com/zechenzhangAGI/AI-research-SKILLsgit clone https://github.com/zechenzhangAGI/AI-research-SKILLs.git ~/.claude/skills/huggingface-tokenizersCopia y pega este comando en Claude Code para instalar esta habilidad
Repositorio GitHub
Frequently asked questions
What is the huggingface-tokenizers skill?
huggingface-tokenizers is a Claude Skill by zechenzhangAGI. Skills package instructions and resources that Claude loads on demand, so Claude can perform huggingface-tokenizers-related tasks without extra prompting.
How do I install huggingface-tokenizers?
Use the install commands on this page: add huggingface-tokenizers to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does huggingface-tokenizers belong to?
huggingface-tokenizers is in the Documents category, tagged word and ai.
Is huggingface-tokenizers free to use?
Yes. huggingface-tokenizers is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Habilidades relacionadas
Esta habilidad proporciona pautas de versionado semántico (semver) y estándares de formato para el changelog en lanzamientos de software. Úsela al preparar lanzamientos para incrementar correctamente los números de versión (principal/secundario/parche) y estructurar las entradas del changelog. Incluye reglas para identificadores de pre-lanzamiento y ejemplos claros para desarrolladores.
Esta habilidad formatea los mensajes de commit de Git según el estándar Conventional Commits. Proporciona plantillas y definiciones de tipos (como `feat`, `fix`, `refactor`) para garantizar consistencia al escribir o revisar commits. Úsala durante el proceso de commit para crear un historial de commits claro y estructurado.
Esta habilidad proporciona tokenización de alto rendimiento utilizando la biblioteca basada en Rust de HuggingFace, procesando 1GB de texto en menos de 20 segundos. Soporta algoritmos BPE, WordPiece y Unigram, además de permitir el entrenamiento de tokenizadores personalizados y el seguimiento de alineaciones. Úsela cuando necesite tokenización rápida para producción o para construir tokenizadores personalizados integrados en el ecosistema de transformers.
nano-pdf es una herramienta CLI que permite a los desarrolladores editar PDFs usando instrucciones en lenguaje natural, como cambiar texto o corregir errores tipográficos en páginas específicas. Es ideal para modificaciones rápidas y programáticas de PDFs directamente desde la terminal. Siempre verifica la salida, ya que la numeración de páginas puede variar entre versiones.