huggingface-tokenizers
✓研究および生産用に最適化された高速トークナイザー。 Rust ベースの実装では、20 秒未満で 1GB をトークン化します。 BPE、WordPiece、Unigram アルゴリズムをサポートします。カスタム語彙のトレーニング、アライメントの追跡、パディング/切り捨てのハンドル。変圧器とシームレスに統合します。高パフォーマンスのトークン化またはカスタム トークナイザー トレーニングが必要な場合に使用します。
SKILL.md
Fast, production-ready tokenizers with Rust performance and Python ease-of-use.
Training time: 1-2 minutes for 100MB corpus, 10-20 minutes for 1GB
Complete pipeline: Normalization → Pre-tokenization → Model → Post-processing
研究および生産用に最適化された高速トークナイザー。 Rust ベースの実装では、20 秒未満で 1GB をトークン化します。 BPE、WordPiece、Unigram アルゴリズムをサポートします。カスタム語彙のトレーニング、アライメントの追跡、パディング/切り捨てのハンドル。変圧器とシームレスに統合します。高パフォーマンスのトークン化またはカスタム トークナイザー トレーニングが必要な場合に使用します。 ソース: ovachiever/droid-tings。
引用可能な情報
AI/検索での引用用の安定したフィールドとコマンド。
- インストールコマンド
npx skills add https://github.com/ovachiever/droid-tings --skill huggingface-tokenizers- カテゴリ
- </>開発ツール
- 認証済み
- ✓
- 初回登録
- 2026-02-01
- 更新日
- 2026-02-18
クイックアンサー
huggingface-tokenizers とは？
研究および生産用に最適化された高速トークナイザー。 Rust ベースの実装では、20 秒未満で 1GB をトークン化します。 BPE、WordPiece、Unigram アルゴリズムをサポートします。カスタム語彙のトレーニング、アライメントの追跡、パディング/切り捨てのハンドル。変圧器とシームレスに統合します。高パフォーマンスのトークン化またはカスタム トークナイザー トレーニングが必要な場合に使用します。 ソース: ovachiever/droid-tings。
huggingface-tokenizers のインストール方法は？
ターミナルまたはコマンドラインツール（Terminal、iTerm、Windows Terminal など）を開きます このコマンドをコピーして実行します: npx skills add https://github.com/ovachiever/droid-tings --skill huggingface-tokenizers インストール後、スキルは自動的に AI コーディング環境に設定され、Claude Code や Cursor で使用できるようになります
ソースリポジトリはどこですか？
https://github.com/ovachiever/droid-tings
詳細
- カテゴリ
- </>開発ツール
- ソース
- skills.sh
- 初回登録
- 2026-02-01