huggingface-tokenizers
О программе
Этот навык Claude обеспечивает высокопроизводительную токенизацию с использованием реализаций на Rust, способных обработать 1 ГБ текста менее чем за 20 секунд. Он поддерживает популярные алгоритмы, такие как BPE, WordPiece и Unigram, а также позволяет создавать пользовательские словари и отслеживать выравнивание. Используйте его, когда вам нужна быстрая готовая к производству токенизация или необходимо обучить кастомные токенизаторы для NLP-пайплайнов.
Быстрая установка
Claude Code
Рекомендуетсяnpx skills add zechenzhangAGI/AI-research-SKILLs -a claude-code/plugin add https://github.com/zechenzhangAGI/AI-research-SKILLsgit clone https://github.com/zechenzhangAGI/AI-research-SKILLs.git ~/.claude/skills/huggingface-tokenizersСкопируйте и вставьте эту команду в Claude Code для установки этого навыка
GitHub репозиторий
Frequently asked questions
What is the huggingface-tokenizers skill?
huggingface-tokenizers is a Claude Skill by zechenzhangAGI. Skills package instructions and resources that Claude loads on demand, so Claude can perform huggingface-tokenizers-related tasks without extra prompting.
How do I install huggingface-tokenizers?
Use the install commands on this page: add huggingface-tokenizers to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does huggingface-tokenizers belong to?
huggingface-tokenizers is in the Documents category, tagged word and ai.
Is huggingface-tokenizers free to use?
Yes. huggingface-tokenizers is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Похожие навыки
Этот навык предоставляет рекомендации по семантическому версионированию (semver) и стандарты форматирования журнала изменений для релизов программного обеспечения. Используйте его при подготовке выпусков, чтобы правильно увеличивать номера версий (мажорные/минорные/патчи) и структурировать записи в журнале изменений. Он включает правила для идентификаторов предварительных релизов и понятные примеры для разработчиков.
Этот навык форматирует сообщения коммитов Git в соответствии со стандартом Conventional Commits. Он предоставляет шаблоны и определения типов (такие как `feat`, `fix`, `refactor`), чтобы обеспечить единообразие при написании или проверке коммитов. Используйте его в процессе создания коммитов для формирования понятной и структурированной истории изменений.
Этот навык обеспечивает высокопроизводительную токенизацию с использованием Rust-библиотеки от HuggingFace, обрабатывая 1 ГБ текста менее чем за 20 секунд. Он поддерживает алгоритмы BPE, WordPiece и Unigram, а также позволяет обучать пользовательские токенизаторы и отслеживать выравнивание. Используйте его, когда требуется производственно-быстрая токенизация или для создания пользовательских токенизаторов, интегрированных с экосистемой transformers.
nano-pdf — это инструмент командной строки, который позволяет разработчикам редактировать PDF-файлы с помощью инструкций на естественном языке, например, изменять текст или исправлять опечатки на конкретных страницах. Он идеально подходит для быстрых программных изменений PDF прямо из терминала. Всегда проверяйте результат, так как нумерация страниц может различаться в разных версиях.