MCP HubMCP Hub
SKILL·2582A0

sentencepiece

davila7
更新日 2 months ago
312 閲覧
18,478
1,685
18,478
GitHubで表示
デザインTokenizationSentencePieceLanguage-IndependentBPEUnigramMultilingualCJK LanguagesUnicodeDeterministicGoogle

について

SentencePieceは、BPEまたはユニグラムアルゴリズムを用いて生のUnicodeテキストを処理する言語非依存のトークナイザーです。特にCJK言語を含む多言語モデルに最適で、高速かつ決定論的なトークン化を提供します。言語固有の前処理なしで生テキストから直接トークナイザーを訓練する必要がある場合にご利用ください。

クイックインストール

Claude Code

推奨
メイン
npx skills add davila7/claude-code-templates -a claude-code
プラグインコマンド代替
/plugin add https://github.com/davila7/claude-code-templates
Git クローン代替
git clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/sentencepiece

このコマンドをClaude Codeにコピー&ペーストしてスキルをインストールします

GitHub リポジトリ

davila7/claude-code-templates
パス: cli-tool/components/skills/ai-research/tokenization-sentencepiece
0
anthropicanthropic-claudeclaudeclaude-code
FAQ

Frequently asked questions

What is the sentencepiece skill?

sentencepiece is a Claude Skill by davila7. Skills package instructions and resources that Claude loads on demand, so Claude can perform sentencepiece-related tasks without extra prompting.

How do I install sentencepiece?

Use the install commands on this page: add sentencepiece to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.

What category does sentencepiece belong to?

sentencepiece is in the Design category, tagged Tokenization, SentencePiece, Language-Independent, BPE, Unigram and Multilingual.

Is sentencepiece free to use?

Yes. sentencepiece is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.

関連スキル

executing-plans
デザイン

executing-plansスキルは、完全な実装計画があり、それを管理されたバッチでレビューチェックポイントを設けながら実行する場合に使用します。このスキルは計画を読み込んで批判的にレビューした後、小さなバッチ(デフォルトは3タスク)でタスクを実行し、各バッチの間に進捗状況を報告してアーキテクトのレビューを受けます。これにより、品質管理チェックポイントが組み込まれた体系的な実装が保証されます。

スキルを見る
requesting-code-review
デザイン

このスキルは、コードレビュアーサブエージェントを起動し、処理を進める前に要件に対してコード変更を分析します。タスク完了後、主要な機能の実装後、またはmainブランチへのマージ前などに使用すべきです。このレビューは、現在の実装と元の計画を比較することで、問題を早期に発見するのに役立ちます。

スキルを見る
connect-mcp-server
デザイン

このスキルは、開発者がHTTP、stdio、またはSSEトランスポートを使用してMCPサーバーをClaude Codeに接続するための包括的なガイドを提供します。GitHub、Notion、カスタムAPIなどの外部サービスを統合するためのインストール、設定、認証、セキュリティについて解説しています。MCP統合のセットアップ、外部ツールの設定、またはClaudeのModel Context Protocolを扱う際にご利用ください。

スキルを見る
web-cli-teleport
デザイン

このスキルは、タスク分析に基づいて開発者がClaude Code WebとCLIインターフェースの選択を支援し、これらの環境間でのシームレスなセッションテレポーテーションを可能にします。Web、CLI、モバイル環境を切り替える際のセッション状態とコンテキストを管理することで、ワークフローを最適化します。様々な段階で異なるツールを必要とする複雑なプロジェクトにご活用ください。

スキルを見る