huggingface-tokenizers
Acerca de
Esta habilidad de Claude proporciona tokenización de alto rendimiento utilizando implementaciones basadas en Rust que pueden procesar 1GB de texto en menos de 20 segundos. Soporta algoritmos populares como BPE, WordPiece y Unigram, además de permitir el entrenamiento de vocabularios personalizados y el seguimiento de alineaciones. Úsela cuando necesite tokenización rápida lista para producción o desee entrenar tokenizadores personalizados para pipelines de PLN.
Instalación rápida
Claude Code
Recomendadonpx skills add zechenzhangAGI/AI-research-SKILLs -a claude-code/plugin add https://github.com/zechenzhangAGI/AI-research-SKILLsgit clone https://github.com/zechenzhangAGI/AI-research-SKILLs.git ~/.claude/skills/huggingface-tokenizersCopia y pega este comando en Claude Code para instalar esta habilidad
Repositorio GitHub
Preguntas frecuentes
¿Qué es el Skill huggingface-tokenizers?
huggingface-tokenizers es un Skill de Claude creado por zechenzhangAGI. Los Skills agrupan instrucciones y recursos que Claude carga cuando los necesita para realizar tareas relacionadas con huggingface-tokenizers sin indicaciones adicionales.
¿Cómo instalo huggingface-tokenizers?
Usa los comandos de instalación de esta página: añade huggingface-tokenizers a Claude Code como plugin o clona su repositorio en tu directorio de skills y reinicia Claude para cargarlo.
¿A qué categoría pertenece huggingface-tokenizers?
huggingface-tokenizers pertenece a la categoría Documentos.
¿Se puede usar huggingface-tokenizers gratis?
Sí. huggingface-tokenizers aparece en AIMCP y se puede instalar gratis.
Habilidades relacionadas
Esta habilidad proporciona pautas de versionado semántico (semver) y estándares de formato para el changelog en lanzamientos de software. Úsela al preparar lanzamientos para incrementar correctamente los números de versión (principal/secundario/parche) y estructurar las entradas del changelog. Incluye reglas para identificadores de pre-lanzamiento y ejemplos claros para desarrolladores.
Esta habilidad formatea los mensajes de commit de Git según el estándar Conventional Commits. Proporciona plantillas y definiciones de tipos (como `feat`, `fix`, `refactor`) para garantizar consistencia al escribir o revisar commits. Úsala durante el proceso de commit para crear un historial de commits claro y estructurado.
nano-pdf es una herramienta CLI que permite a los desarrolladores editar PDFs usando instrucciones en lenguaje natural, como cambiar texto o corregir errores tipográficos en páginas específicas. Es ideal para modificaciones rápidas y programáticas de PDFs directamente desde la terminal. Siempre verifica la salida, ya que la numeración de páginas puede variar entre versiones.
Esta habilidad proporciona tokenización de alto rendimiento utilizando la biblioteca basada en Rust de HuggingFace, procesando 1GB de texto en menos de 20 segundos. Soporta algoritmos BPE, WordPiece y Unigram, además de permitir el entrenamiento de tokenizadores personalizados y el seguimiento de alineaciones. Úsela cuando necesite tokenización rápida para producción o para construir tokenizadores personalizados integrados en el ecosistema de transformers.