huggingface-tokenizers
О программе
Этот навык обеспечивает высокопроизводительную токенизацию с использованием Rust-библиотеки от HuggingFace, обрабатывая 1 ГБ текста менее чем за 20 секунд. Он поддерживает алгоритмы BPE, WordPiece и Unigram, а также позволяет обучать пользовательские токенизаторы и отслеживать выравнивание. Используйте его, когда требуется производственно-быстрая токенизация или для создания пользовательских токенизаторов, интегрированных с экосистемой transformers.
Быстрая установка
Claude Code
Рекомендуетсяnpx skills add davila7/claude-code-templates -a claude-code/plugin add https://github.com/davila7/claude-code-templatesgit clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/huggingface-tokenizersСкопируйте и вставьте эту команду в Claude Code для установки этого навыка
GitHub репозиторий
Frequently asked questions
What is the huggingface-tokenizers skill?
huggingface-tokenizers is a Claude Skill by davila7. Skills package instructions and resources that Claude loads on demand, so Claude can perform huggingface-tokenizers-related tasks without extra prompting.
How do I install huggingface-tokenizers?
Use the install commands on this page: add huggingface-tokenizers to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does huggingface-tokenizers belong to?
huggingface-tokenizers is in the Documents category, tagged Tokenization, HuggingFace, BPE, WordPiece, Unigram and Fast Tokenization.
Is huggingface-tokenizers free to use?
Yes. huggingface-tokenizers is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Похожие навыки
Этот навык предоставляет рекомендации по семантическому версионированию (semver) и стандарты форматирования журнала изменений для релизов программного обеспечения. Используйте его при подготовке выпусков, чтобы правильно увеличивать номера версий (мажорные/минорные/патчи) и структурировать записи в журнале изменений. Он включает правила для идентификаторов предварительных релизов и понятные примеры для разработчиков.
Этот навык форматирует сообщения коммитов Git в соответствии со стандартом Conventional Commits. Он предоставляет шаблоны и определения типов (такие как `feat`, `fix`, `refactor`), чтобы обеспечить единообразие при написании или проверке коммитов. Используйте его в процессе создания коммитов для формирования понятной и структурированной истории изменений.
nano-pdf — это инструмент командной строки, который позволяет разработчикам редактировать PDF-файлы с помощью инструкций на естественном языке, например, изменять текст или исправлять опечатки на конкретных страницах. Он идеально подходит для быстрых программных изменений PDF прямо из терминала. Всегда проверяйте результат, так как нумерация страниц может различаться в разных версиях.
Этот CLI-инструмент суммирует веб-URL, локальные файлы (включая PDF, изображения, аудио) и ссылки YouTube с использованием различных AI-моделей. Разработчики могут применять его для быстрого извлечения контента, задавая API-ключи провайдеров и регулируя длину вывода. По умолчанию используется модель Google Gemini, а установка выполняется через Homebrew.