huggingface-tokenizers
Acerca de
Esta habilidad proporciona tokenización de alto rendimiento utilizando la biblioteca basada en Rust de HuggingFace, procesando 1GB de texto en menos de 20 segundos. Soporta algoritmos BPE, WordPiece y Unigram, además de permitir el entrenamiento de tokenizadores personalizados y el seguimiento de alineaciones. Úsela cuando necesite tokenización rápida para producción o para construir tokenizadores personalizados integrados en el ecosistema de transformers.
Instalación rápida
Claude Code
Recomendadonpx skills add davila7/claude-code-templates -a claude-code/plugin add https://github.com/davila7/claude-code-templatesgit clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/huggingface-tokenizersCopia y pega este comando en Claude Code para instalar esta habilidad
Repositorio GitHub
Preguntas frecuentes
¿Qué es el Skill huggingface-tokenizers?
huggingface-tokenizers es un Skill de Claude creado por davila7. Los Skills agrupan instrucciones y recursos que Claude carga cuando los necesita para realizar tareas relacionadas con huggingface-tokenizers sin indicaciones adicionales.
¿Cómo instalo huggingface-tokenizers?
Usa los comandos de instalación de esta página: añade huggingface-tokenizers a Claude Code como plugin o clona su repositorio en tu directorio de skills y reinicia Claude para cargarlo.
¿A qué categoría pertenece huggingface-tokenizers?
huggingface-tokenizers pertenece a la categoría Documentos.
¿Se puede usar huggingface-tokenizers gratis?
Sí. huggingface-tokenizers aparece en AIMCP y se puede instalar gratis.
Habilidades relacionadas
Esta habilidad proporciona pautas de versionado semántico (semver) y estándares de formato para el changelog en lanzamientos de software. Úsela al preparar lanzamientos para incrementar correctamente los números de versión (principal/secundario/parche) y estructurar las entradas del changelog. Incluye reglas para identificadores de pre-lanzamiento y ejemplos claros para desarrolladores.
Esta habilidad formatea los mensajes de commit de Git según el estándar Conventional Commits. Proporciona plantillas y definiciones de tipos (como `feat`, `fix`, `refactor`) para garantizar consistencia al escribir o revisar commits. Úsala durante el proceso de commit para crear un historial de commits claro y estructurado.
nano-pdf es una herramienta CLI que permite a los desarrolladores editar PDFs usando instrucciones en lenguaje natural, como cambiar texto o corregir errores tipográficos en páginas específicas. Es ideal para modificaciones rápidas y programáticas de PDFs directamente desde la terminal. Siempre verifica la salida, ya que la numeración de páginas puede variar entre versiones.
Esta herramienta CLI resume URLs web, archivos locales (incluyendo PDFs, imágenes, audio) y enlaces de YouTube utilizando varios modelos de IA. Los desarrolladores pueden usarla para extracción rápida de contenido configurando claves API de proveedores y ajustando la longitud de la salida. Por defecto utiliza el modelo Gemini de Google y se instala mediante Homebrew.